(57)【要約】  【課題】ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したストロボ光による画質の劣化を防止することができる。  【解決手段】フレームＢの読み出しの最中に他者によるフラッシュ発光があった場合には、フレームＢ、Ｃの２フレームにわたって高輝度領域が検出される。そのため、フレームＢ、Ｃの画像データは用いず、代わりにフレームＢ、Ｃの前に取得され、高輝度領域が検出されていないフレームＡの画像データをＬＣＤ４０に表示する。これにより、画面の一部が白とびするなどの不自然なスルー画や動画となってしまうことを防止することができる。【選択図】  図９
2010135921.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子と、
前記撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ手段と、
前記ローリングシャッタ手段により読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力する出力手段と、
を有する撮像装置において、
撮影画面のライン方向の輝度を算出する輝度算出手段と、
前記輝度算出手段により算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定する判定手段と、
前記判定手段により高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去する輝度ムラ除去手段と、
を備え、
前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする撮像装置。
【請求項２】
前記輝度算出手段は、撮影画面を複数の領域に分割し、各分割領域毎の輝度に基づいて前記ライン方向の輝度を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、
前記判定手段は、ライン方向の分割領域の輝度の平均値が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、
前記判定手段は、前記輝度算出手段により算出された輝度のバラツキが所定の閾値以内であるか否かを判定し、
前記判定手段により高輝度領域が帯状に存在すると判定され、かつライン方向の分割領域の輝度のバラツキが所定の閾値以内であると判定された場合にのみ前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする請求項２又は３のいずれかに記載の撮像装置。
【請求項５】
前記輝度算出手段により算出されたライン方向の輝度の差分であって、現フレームの輝度と、現フレームの１つ前のフレームの輝度との差分を算出する差分算出手段を備え、
前記判定手段は、前記差分算出手段により算出された輝度の差分が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記輝度ムラ除去手段は、現フレームの画像を、前記判定手段により高輝度領域が帯状に存在すると判定されていないフレーム（以下、低輝度フレームという）の画像に置き換えることにより前記高輝度領域を除去することを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記画像信号に基づいて適正な露出値になるように露出を制御する露出制御手段であって、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値となるように制御する露出制御手段を備えたことを特徴とする請求項１から６のいずれか記載の撮像装置。
【請求項８】
閃光を発して前記被写体を照明する閃光手段と、
前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの最初に電荷蓄積を開始するラインの電荷蓄積開始後に発光を開始して最後に電荷蓄積を終了するラインの電荷蓄積終了前に発光を停止するように前記閃光手段を制御する閃光制御手段と、
を備えたことを特徴とする請求項１から６のいずれかに記載の撮像装置。
【請求項９】
前記判定手段により高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることを検出する検出手段と、
前記検出手段により略１画面分であることが検出された高輝度領域を合成して１フレーム分の高輝度の画像を生成する合成手段と、を備え、
前記出力手段は、前記検出手段により前記高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることが検出された場合には、前記連続する２フレームの後のフレームの画像に変えて前記合成手段により合成された画像を出力することを特徴とする請求項１から６のいずれかに記載の撮像装置。
【請求項１０】
前記輝度算出手段は、前記分割領域の読み出し方向の幅より読み出し方向の幅が狭い分割領域を設定し、当該読み出し方向の幅が狭い分割領域の輝度に基づいて読み出し方向の幅が狭いラインのライン方向の輝度を算出し、
前記判定手段は、前記読み出し方向の幅が狭いラインのライン方向の輝度に基づいて前記高輝度領域が帯状に存在するか否かを判定することを特徴とする請求項２に記載の撮像装置。
【請求項１１】
前記ローリングシャッタ手段は、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記撮像素子の画像信号の読み出しのタイミングを順次走査から飛び越し走査へ切り替えることを特徴とする請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
所望の撮影シーンに応じた撮影モードを設定する撮影モード設定手段と、
前記撮影モード設定手段により設定された撮影モードが所定の撮影モードの場合にのみ前記差分算出手段及び前記判定手段を動作させる制御手段と、
を備えたことを特徴とする請求項１から１１のいずれかに記載の撮像装置。
【請求項１３】
前記複数フレームの画像は動画であることを特徴とする請求項１から１２のいずれかに記載の撮像装置。
【請求項１４】
被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すステップと、
前記読み出された画像信号に基づいて撮影画面のライン方向の輝度を算出するステップと、
前記算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定するステップと、
前記高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去するステップと、
前記読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力するステップと、
前記判定するステップにより前記高輝度領域が帯状に存在しないと判定された場合には現フレームの画像を出力し、前記判定するステップにより前記高輝度領域が帯状に存在すると判定された場合には前記高輝度領域が除去された画像を出力するステップと、
を含むことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法にかかり、スルー画や動画撮影時に発生する画面の輝度ムラをなくす撮影装置及び撮像方法に関する。
【背景技術】
【０００２】
ＣＭＯＳセンサを用いた撮像装置においては、２次元状に電荷蓄積素子が配列された撮像素子に各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ方式が用いられる。
【０００３】
このローリングシャッタ方式は、各ライン毎に画像信号を読み出す時間が異なるという特徴があるため、ストロボ撮影を行う場合には、発光タイミングによっては撮影画面内の列方向（ライン読み出し方向）に輝度ムラが生じるといった問題がある。
【０００４】
このローリングシャッタによる輝度ムラを軽減するために、特許文献１には、最初のラインの電荷蓄積開始時から最後のラインの電荷蓄積終了時まで常にストロボを発光し続ける撮像装置が開示されている。
【特許文献１】特開２００７−３２４６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明は、撮像装置自体に設けられたストロボを発光する場合における輝度ムラを軽減するための技術である。撮像装置自体に設けられたストロボであれば、発光タイミングを制御することも可能であるが、他人が所有するカメラのフラッシュ光の発光タイミングを制御することはできない。
【０００６】
そのため、例えば結婚式や記者会見などの多くのカメラが同時にストロボを発光させるシーンにおいて、各ライン毎に画像信号を読み出す時間が異なるローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光によって画面の一部のみが白トビする（輝度ムラが発生する）こと等により画質が劣化することを防止することはできないという問題がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光による画質の劣化を防止することができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために、請求項１に記載の撮像装置は、被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子と、前記撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ手段と、前記ローリングシャッタ手段により読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力する出力手段と、を有する撮像装置において、撮影画面のライン方向の輝度を算出する輝度算出手段と、前記輝度算出手段により算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定する判定手段と、前記判定手段により高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去する輝度ムラ除去手段と、を備え、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする。
【０００９】
請求項１に記載の撮像装置によれば、撮影画面のライン方向の輝度を算出し、輝度が所定の閾値以上高い領域（高輝度領域）が帯状に存在するか否かを判定する。そして、高輝度領域が帯状に存在すると判定された場合には、高輝度領域が除去された画像を出力する。これにより、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラがフラッシュを発光したか否かを検出し、他人が所有するカメラのフラッシュ光により画面の一部が明るくなることによるスルー画や動画の画質の劣化を防止することができる。なお、高輝度領域が帯状に存在するフレームの画像の高輝度領域を除去する輝度ムラ除去手段としては、高輝度領域の画像を高輝度領域で無い画像と置き換える手段を用いてもよい。
【００１０】
請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、前記輝度算出手段は、撮影画面を複数の領域に分割し、各分割領域毎の輝度に基づいて前記ライン方向の輝度を算出することを特徴とする。
【００１１】
請求項３に記載の撮像装置は、請求項２に記載の撮像装置において、前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、
前記判定手段は、ライン方向の分割領域の輝度の平均値が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする。
【００１２】
請求項３に記載の撮像装置によれば、各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、その平均値が所定の閾値以上高い領域を高輝度領域と判定する。これにより、高輝度領域の判定を容易に行うことができる。
【００１３】
請求項４に記載の撮像装置は請求項２又は３のいずれかに記載の撮像装置において、前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、前記判定手段は、前記輝度算出手段により算出された輝度のバラツキが所定の閾値以内であるか否かを判定し、前記出力手段は、前記判定手段により高輝度領域が帯状に存在すると判定され、かつライン方向の分割領域の輝度のバラツキが所定の閾値以内であると判定された場合にのみ前記輝度ムラ除去手段により高輝度領域が除去された画像を出力することを特徴とする。
【００１４】
請求項４に記載の撮像装置によれば、各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、その輝度のバラツキが所定の閾値以内であるか否かを判定し、高輝度領域が帯状に存在すると判定され、かつ輝度のバラツキが所定の閾値以内であると判定された場合には、高輝度領域が除去された画像を出力する。これにより、他者のフラッシュ発光を確実に検出することができる。
【００１５】
請求項５に記載の撮像装置は、請求項１から４のいずれかに記載の撮像装置において、前記輝度算出手段により算出されたライン方向の輝度の差分であって、現フレームの輝度と、現フレームの１つ前のフレームの輝度との差分を算出する差分算出手段を備え、前記判定手段は、前記差分算出手段により算出された輝度の差分が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする。
【００１６】
請求項５に記載の撮像装置によれば、現フレームの輝度と、現フレームの１つ前のフレームの輝度との差分を算出し、その差分が所定の閾値以上高い領域を高輝度領域と判定する。これにより、より確実に高輝度領域を判定することができる。
【００１７】
請求項６に記載の撮像装置は、請求項１から５のいずれかに記載の撮像装置において、前記輝度ムラ除去手段は、現フレームの画像を、前記判定手段により高輝度領域が帯状に存在すると判定されていないフレーム（以下、低輝度フレームという）の画像をに置き換えることにより前記高輝度領域を除去することを特徴とする。これにより、容易に高輝度領域を除去することができる。
【００１８】
請求項７に記載の撮像装置は、請求項１から６のいずれかに記載の撮像装置において、前記画像信号に基づいて適正な露出値になるように露出を制御する露出制御手段であって、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値となるように制御する露出制御手段を備えたことを特徴とする。
【００１９】
請求項７に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定された場合には、判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値で撮影する。これにより、他人のフラッシュ発光があったかのような画像を残すことができる。なお、露出を高くして撮影するのは、判定直後のフレームが望ましいが、判定直後のフレームである必要は無い。
【００２０】
請求項８に記載の撮像装置は、請求項１から６のいずれかに記載の撮像装置において、閃光を発して前記被写体を照明する閃光手段と、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの最初に電荷蓄積を開始するラインの電荷蓄積開始後に発光を開始して最後に電荷蓄積を終了するラインの電荷蓄積終了前に発光を停止するように前記閃光手段を制御する閃光制御手段と、を備えたこをと特徴とする。
【００２１】
請求項８に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定された場合には、判定後のフレームをフラッシュ撮影する。これにより、他人のフラッシュ発光があったかのような画像を残すことができる。なお、フラッシュ撮影を行うのは、判定直後のフレームが望ましいが、判定直後のフレームである必要は無い。
【００２２】
請求項９に記載の撮像装置は、請求項１から６のいずれかに記載の撮像装置において、前記判定手段により高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることを検出する検出手段と、前記検出手段により略１画面分であることが検出された高輝度領域を合成して１フレーム分の高輝度の画像を生成する合成手段と、を備え、前記出力手段は、前記検出手段により前記高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることが検出された場合には、前記連続する２フレームの後のフレームの画像に変えて、前記合成手段により合成された画像を出力することを特徴とする。
【００２３】
請求項９に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることが検出された場合には、連続する２フレームの後のフレームの画像に変えて、連続する２フレームの高輝度領域を合成した画像を出力する。これにより、他人のフラッシュ発光があったかのような画像を残すことができる。なお、合成画像を出力するのは、高輝度領域が帯状に存在すると判定された連続する２フレーム直後のフレームが望ましいが、直後のフレームである必要は無い。
【００２４】
請求項１０に記載の撮像装置は、請求項２に記載の撮像装置によれば、前記輝度算出手段は、前記分割領域の読み出し方向の幅より読み出し方向の幅が狭い分割領域を設定し、当該読み出し方向の幅が狭い分割領域の輝度に基づいて読み出し方向の幅が狭いラインのライン方向の輝度を算出し、前記判定手段は、前記読み出し方向の幅が狭いラインのライン方向の輝度に基づいて前記高輝度領域が帯状に存在するか否かを判定することを特徴とする。これにより、検出の精度を高くすることができる。
【００２５】
請求項１１に記載の撮像装置は、請求項１から１０のいずれかに記載の撮像装置において、前記ローリングシャッタ手段は、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記撮像素子の画像信号の読み出しのタイミングを順次走査から飛び越し走査へ切り替えることを特徴とする。これにより、他者のフラッシュ発光による画面の一部の露出オーバー画面の確率を減らすことができる。
【００２６】
請求項１２に記載の撮像装置は、請求項１から１１のいずれかに記載の撮像装置において、所望の撮影シーンに応じた撮影モードを設定する撮影モード設定手段と、前記撮影モード設定手段により設定された撮影モードが所定の撮影モードの場合にのみ前記差分算出手段及び前記判定手段を動作させる制御手段とを備えたことを特徴とする。
【００２７】
請求項１２に記載の撮像装置によれば、所定の撮影モード、すなわち他者のフラッシュ発光が発生しやすい撮影モードの場合にのみ現フレームの変わりに低輝度フレームの画像を出力する制御を行うことができる。
【００２８】
請求項１３に記載の撮像装置は、請求項１から１２のいずれかに記載の撮像装置において、前記複数フレームの画像は動画であることを特徴とする。
【００２９】
請求項１３に記載の撮像方法は、被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すステップと、前記読み出された画像信号に基づいて撮影画面のライン方向の輝度を算出するステップと、前記算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定するステップと、前記高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去するステップと、前記読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力するステップと、前記判定するステップにより前記高輝度領域が帯状に存在しないと判定された場合には現フレームの画像を出力し、前記判定するステップにより前記高輝度領域が帯状に存在すると判定された場合には前記高輝度領域が除去された画像を出力するステップと、を含むことを特徴とする。
【発明の効果】
【００３０】
本発明によれば、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光による画質の劣化を防止することができる。
【発明を実施するための最良の形態】
【００３１】
以下、添付図面に従って本発明が適用された撮像装置及び撮像方法を実施するための最良の形態について詳細に説明する。
【００３２】
図１は第１の実施の形態のデジタルカメラ１内部の概略構成を示すブロック図である。同図に示すように、デジタルカメラ１は、主として、ＣＰＵ１０、操作部１２、フラッシュ発光部２０、レンズユニット２２、メカシャッタ２４、ＣＭＯＳセンサ２６、タイミングジェネレータ（ＴＧ）２８、ＡＧＣ回路３０、Ａ／Ｄ変換器３２、画像信号処理回路３４、圧縮伸張処理回路３６、ＬＣＤドライバ３８、液晶ディスプレイ（ＬＣＤ）４０、ＡＥ／ＷＢ検出回路４２、メモリカード４４、メディアコントローラ４６で構成される。
【００３３】
ＣＰＵ１０は、操作部１２から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ１の全体を統括制御する。ＣＰＵ１０に接続されたＲＯＭ１６には、デジタルカメラ１を動作させるための制御プログラムや各種設定情報が書き込まれており、ＣＰＵ１０はこのプログラムに従って各部を制御する。
【００３４】
また、ＣＰＵ１０は、ＡＦエリア（たとえば、画面中央部）内の信号を切り出し、ＡＦエリア内の絶対値データを積算する。
【００３５】
操作部１２は、レリーズボタン、電源／モードスイッチ、モードダイヤル、ズームボタン、十字ボタン、ＭＥＮＵ／ＯＫボタン、ＢＡＣＫボタン等で構成される。
【００３６】
レリーズボタンは、半押し操作されたときに各種撮影準備処理が実行され、この状態でレリーズボタンが更に押し込まれる全押し操作によって撮影処理が実行される。
【００３７】
電源／モードスイッチは、デジタルカメラ１の電源のオン／オフを切り替える際に操作される。
【００３８】
モードダイヤルは、デジタルカメラ１の動作モードを切り替える際に操作される。動作モードとしては、撮影を１回だけ行う静止画（単写）撮影モード、複数回の撮影を連続して行う連写撮影モード、撮影により得られた画像をＬＣＤ４０に再生表示する再生モードなどがある。
【００３９】
ズームボタンは、ズームレンズを変倍する際に操作される。
【００４０】
十字ボタンは、ＬＣＤ４０に表示されたメニュー画面内のカーソルが移動させる。
【００４１】
ＭＥＮＵ／ＯＫボタンは、ＬＣＤ４０にメニュー画面を表示する際や選択内容を決定する際などに操作される。ＭＥＮＵ／ＯＫボタン、十字ボタン等の操作により、種々の撮影シーン（屋内、人物、夜景など）から所望とする撮影シーンが設定可能となっている。撮影シーン機能は、設定された撮影シーンに応じて、種々の撮影条件を自動的に設定する機能である。ＣＰＵ１０は、設定された撮影シーンに応じて、露出値、撮影感度、ホワイトバランスの制御パラメータ、フラッシュ発光の有無などの撮影条件を、当該撮影シーンに好適な値に自動的に設定する。なお、撮影シーンの設定は、ＣＰＵ１０が自動的に撮影シーンを判断し、最適な撮影シーンに設定する（自動シーン認識）機能により行なわれてもよい。
【００４２】
ＢＡＣＫボタンは、ＬＣＤ４０に表示されたメニュー画面を戻す際に操作される。
【００４３】
ＲＡＭ１４は、ＣＰＵ１０による演算作業領域として利用される。
【００４４】
ＲＯＭ１６は、ＣＰＵ１０が実行する制御プログラム及び制御に必要な各種データやデジタルカメラ１の動作に関する各種設定情報などが格納されている。
【００４５】
ＶＲＡＭ１８は、スルー画像の表示用の画像データ等を順次に一時的に記憶する。
【００４６】
フラッシュ発光部２０は、撮影を実行する際に被写体輝度に応じてフラッシュを照射する。
【００４７】
レンズユニット２２は、主として、ズーム機構及びフォーカス機構と、絞りとで構成される。ズーム機構は、ズーム操作ボタンの操作に応答して、撮影レンズ２２ａを移動させてズーミングを行う。フォーカス機構は、撮影レンズ２２ａに組み込まれたフォーカスレンズを移動させてピント合せを行う。絞り装置２２ｂは、絞り開度を調節することで、ＣＭＯＳ型イメージセンサ２６（以下、ＣＭＯＳセンサ２６という）に入射する被写体光の光量を調節する。絞り装置２２ｂは、モータ２３を介してＣＰＵ１０により動作制御される。
【００４８】
メカシャッタ２４は、絞り装置２２ｂとＣＭＯＳセンサ２６との間に設けられ、ＣＭＯＳセンサ２６に入射する被写体光を物理的に遮る。メカシャッタ２４は、モータ２５を介してＣＰＵ１０により動作制御される。
【００４９】
ＣＭＯＳセンサ２６は、多数のフォトセンサ（電荷蓄積素子）が２次元配列された受光面を有しており、受光面に結像された被写体像は、各フォトセンサによって、その入射光量に応じた量の信号電荷に変換され、蓄積される。各フォトセンサに蓄積された電荷は、タイミングジェネレータ（ＴＧ）２８から入力されるタイミング信号によってアナログの画像信号として出力される。具体的には、ＣＭＯＳセンサ２６の各ライン（走査ライン）毎に時間軸方向に異なるタイミングで電荷蓄積を開始するとともに、それぞれ所定の電荷蓄積時間（露光時間）の経過後に電荷蓄積を終了して、各ライン毎に時間軸方向に異なるタイミングで蓄積電荷が画像信号として読み出される。読み出しが終了したら、電荷蓄積素子をリセットし、再度電荷蓄積を開始する。
【００５０】
ＡＧＣ（Automatic Gain Control）回路３０は、ＣＭＯＳセンサ２６から出力された画像信号に対して、ＣＰＵ１０によって設定される撮影感度に応じたゲインで撮像信号を増幅してＡ／Ｄ変換器３２に出力する。
【００５１】
Ａ／Ｄ変換器３２は、ＡＧＣ回路３０から出力されたアナログ信号を、例えば１２ビットのデジタル信号に変換して出力する。Ａ／Ｄ変換器３２から出力されたデジタル信号は画像信号処理回路３４に送られる。
【００５２】
画像信号処理回路３４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。
【００５３】
圧縮伸張処理回路３６は、ＣＰＵ１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。
【００５４】
ＬＣＤドライバ３８は、画像信号処理回路３４で生成された画像信号をＬＣＤ４０に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してＬＣＤ４０に出力する。
【００５５】
ＬＣＤ４０は、カラー表示が可能な液晶ディスプレイで構成されており、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、電子ビューファインダとして機能し、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。また、再生モード時にはメモリカード４４に記録されている画像データに基づき、ＬＣＤ４０に画像が再生表示される。
【００５６】
ＡＥ／ＷＢ検出回路４２は、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリア（以下、測光分割エリアという）ごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。算出された値は画像信号処理回路３４に出力され、画像信号処理回路３４内のホワイトバランス補正回路で用いられる。
【００５７】
メディアコントローラ４６は、メディアスロットに装填されたメモリカード４４に対してデータの読み／書きを制御する。
【００５８】
以上のように構成された本実施の形態のデジタルカメラ１の作用について説明する。まずは、通常動作（撮影処理、記録処理）について説明する。
【００５９】
電源／モードスイッチを撮影位置に合わせることで、デジタルカメラ１は撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズユニット２２が繰り出され、撮影スタンバイ状態になる。
【００６０】
この撮影モードの下、レンズユニット２２を通過した被写体光は、ＣＭＯＳセンサ２６の受光面に結像され、各ライン毎に順次順次電荷蓄積を開始し、所定の電荷蓄積時間の経過後に、ＴＧ２８から与えられる駆動パルスに基づいて各ライン毎に順次画像信号が読み出される。
【００６１】
読み出された画像信号は、ＡＧＣ回路３０に加えられ、ＡＧＣ回路３０から出力されたアナログ信号はＡ／Ｄ変換器３２でデジタル信号に変換され、画像信号処理回路３４に加えられる。
【００６２】
画像信号処理回路３４で輝度／色差信号が生成され、ＬＣＤドライバ３８で表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換され、ＬＣＤ４０に出力される。これにより、ＣＭＯＳセンサ２６で撮像された画像がリアルタイムにＬＣＤ４０に表示される（スルー画像）。
【００６３】
撮影はレリーズボタンの押下によって行なわれる。レリーズボタンが押下されることによりＣＰＵ１０に対して画像の記録が指示されると、画像信号処理回路３４からの画像データは圧縮伸張処理回路３６に供給され、所定の圧縮符号化処理が施されて、メディアコントローラ４６を介してメモリカード４４に記録される。静止画の記録の際には、画像信号処理回路３４からは１フレーム分の画像データが圧縮伸張処理回路３６に供給され、動画の記録の際には、処理された画像データが圧縮伸張処理回路３６に連続的に供給される。
【００６４】
＜露出オーバーとなっている領域の検出について＞
本実施の形態では、スルー画像や動画の撮影時に、通常のＡＥ処理で用いる測光値（輝度に相当）に基づいて、他者のフラッシュ撮影などにより画面内に帯状に露出オーバーとなっている領域（以下、高輝度領域という）があるか否かの検出を行う。以下、高輝度領域があるか否かを検出する方法について説明する。
【００６５】
（１）露光時間が長い場合について
図２は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図２（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図２（ｂ）は図２（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図２（ｃ）は図２（ｂ）に示すフレームの露出値を示す図である。
【００６６】
他者のフラッシュ光は全てのフォトセンサに同様に蓄積されるが、図２（ａ）に示すように、フレーム２の画像信号読み出し中に他者のフラッシュが発光された場合には、フレーム２としてまだ読み出していないラインについては、他者のフラッシュ光はフレーム２で蓄積及び読み出しが行われ、フレーム２として既に読み出したラインについては、他者のフラッシュ光はフレーム３で蓄積及び読み出しが行われる。その結果、図２（ｂ）に示すように、ライン読み出し方向が上から下に向かう場合には、フラッシュが発光されたときに読み出されたラインよりも下側のラインについてはフレーム２が露出オーバーとなり、フラッシュが発光されたときに読み出されたラインよりも上側のラインについてはフレーム３が露出オーバーとなる。このように、露出時間が長い場合には、高輝度領域が連続する２フレームにわたって現れる。
【００６７】
次に、露光時間が長い場合に、高輝度領域を検出する処理について説明する。図３は、高輝度領域を検出する処理の全体の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１０によって行われる。
【００６８】
ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２に指示を出し、ＡＥ／ＷＢ検出回路４２は、１画面を複数の領域に分割して得られた各測光分割エリア毎の測光値（ＥＶ値）を１フレーム分取得する（ステップＳ１０）。以下、図２（ｂ）におけるフレーム２の画像信号を取得したとして説明する。
【００６９】
ＣＰＵ１０は、各測光分割エリア毎に、現フレームの測光値と１フレーム前の測光値との差分を算出する。そして、ＣＰＵ１０は、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する（ステップＳ１１）。
【００７０】
ステップＳ１１について図４を用いて説明する。図４は、図２（ｃ）におけるフレーム２の詳細を示すものである。撮影画面は、ライン方向に６つ、ライン読み出し方向に５つ、合計３０個の測光分割エリアに分割されている。図４の測光分割エリア内に記載された数字は、その測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分を示す。１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ０．２、０．４、−０．２、−０．３、０．１、０．３であるため、その最大値と最小値との差は０．７と算出される。同様の方法により、２番目〜５番目のラインについて、差がそれぞれ０．７、０．５、０．４、０．４と算出される。そして、その差０．７、０．７、０．５、０．４、０．４は正の値であり、閾値（例えば１．０）以内であるため、このフレームの全てのラインについては、ステップＳ１１の結果はＹＥＳとなる。
【００７１】
ステップＳ１１でＮＯの場合には、ＣＰＵ１０は、他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。
【００７２】
ステップＳ１１でＹＥＳの場合は、ＣＰＵ１０は、各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断する（ステップＳ１２）。図４に示す１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ０．２、０．４、−０．２、−０．３、０．１、０．３であるため、その平均値は０．０８と算出される。同様の方法により、２番目〜５番目のラインについて、平均値がそれぞれ０．０８、２．０、２．３、２．３と算出される。そして、３番目〜５番目のラインの平均値２．０、２．３、２．３は、閾値（例えば２．０ＥＶ）以上であり、かつ３番目〜５番目のラインは画面の下側であり、かつ連続しているため、３番目〜５番目のラインについては、ステップＳ１２の結果はＹＥＳと判断される。
【００７３】
ステップＳ１２でＮＯの場合は、ＣＰＵ１０は、他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。
【００７４】
ステップＳ１２でＹＥＳの場合は、ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２に指示を出し、ＡＥ／ＷＢ検出回路４２は、各測光分割エリア毎の測光値であって、ステップＳ１０で取得したフレームの次のフレームの測光値を１フレーム分取得する（ステップＳ１３）。以下、図２（ｂ）におけるフレーム３の画像信号を取得したとして説明する。
【００７５】
ＣＰＵ１０は、ステップＳ１３で取得したフレームに対し、ＡＥ／ＷＢ検出回路４２が算出した各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分を算出し、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する（ステップＳ１４）。ステップＳ１５について図５を用いて説明する。図５は、図２（ｃ）におけるフレーム３の詳細を示すものである。１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ１．７、１．８、２．０、２．１、２．２、２．１であるため、その最大値と最小値との差は０．５と算出される。同様の方法により、２番目〜５番目のラインについて、差がそれぞれ０．４、０．７、０．７、０．７と算出される。そして、その差０．５、０．４、０．７、０．７、０．７は正の値であり、閾値（例えば１．０）以内であるため、このフレームの全てのラインについては、ステップＳ１４の結果はＹＥＳと判断される。
【００７６】
ステップＳ１４でＮＯの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。
【００７７】
ステップＳ１４でＹＥＳの場合は、ＣＰＵ１０は、ステップＳ１２においてＹＥＳと判断されたラインについてＡＥ／ＷＢ検出回路４２が算出した各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が、その他のラインの平均値と比較して所定の閾値以上減少しているかどうかを判断する（ステップＳ１５）。図５において、１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ１．７、１．８、２．０、２．１、２．２、２．１であるため、その平均値は２．０と算出される。同様の方法により、２番目〜５番目のラインについて、平均値がそれぞれ２．３、０．１、０．２、０．１と算出される。ステップＳ１２でＹＥＳと判断された３番目〜５番目のラインの平均値０．１、０．２、０．１の平均値０．１３は、ステップＳ１２でＹＥＳと判断されていない１番目、２番目のラインの平均値２．０、２．３の平均値１．１５より所定の閾値（例えば２．０ＥＶ）以上減少している。したがって、ステップＳ１５の結果はＹＥＳとなる。
【００７８】
ステップＳ１５でＹＥＳの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていると判定し（ステップＳ１６）、処理を終了する。ステップＳ１５でＮＯの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。
【００７９】
これにより、特別な装置を設けることなく、既存のハードウエアにソフト演算を追加する事で、他者のカメラによってフラッシュ発光が行われたか否かを検出する事が可能となる。
【００８０】
（２）露光時間が短い場合について
図６は、露光時間が短い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図６（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図６（ｂ）は図６（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図６（ｃ）は図６（ｂ）に示すフレームの露出値を示す図である。
【００８１】
他者のフラッシュ光は全てのフォトセンサに同様に蓄積されるが、図６（ａ）に示すように、フレーム２の画像信号読み出し中に他者のフラッシュが発光された場合には、フレーム２としてまだ読み出していないラインについてはフレーム２として読み出される。その結果、図６（ｂ）に示すように、フレーム２のフラッシュが発光されたときに読み出されたラインよりも下側のライン２が露出オーバーとなる。しかしながら、フレーム２として既に読み出したラインについては、フレーム３の読み出し前にラインがリセットされるため、蓄積された光はフレーム３に反映されず、フレーム３については露出オーバーとならない。このように、露出時間が短い場合には、高輝度領域が１フレームにのみに現れる。
【００８２】
次に、露光時間が短い場合に、高輝度領域を検出する処理について説明する。図７は、高輝度領域を検出する処理の全体の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１０によって行われる。
【００８３】
ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２に指示を出し、ＡＥ／ＷＢ検出回路４２は、１画面を複数の領域に分割して得られた各測光分割エリア毎の測光値を１フレーム分取得する（ステップＳ１０）。以下、図６（ｂ）におけるフレーム２の画像信号を取得したとして説明する。
【００８４】
ＣＰＵ１０は、各測光分割エリア毎に、現フレームの測光値と１フレーム前の測光値との差分を算出する。そして、ＣＰＵ１０は、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する（ステップＳ１１）。
【００８５】
ステップＳ１１でＮＯの場合には、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。
【００８６】
ステップＳ１１でＹＥＳの場合は、ＣＰＵ１０は、各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつ差分の平均値が所定の閾値以上増加しているラインがライン読み出し方向に沿って連続して存在するか否か、すなわち高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断する（ステップＳ１８）。図６（ｂ）のフレーム２においては、図６（ｃ）に示すように画面の下部に高輝度領域が存在する。
【００８７】
なお、ステップＳ１８では、高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断するが、これは図８に示すように、他者によるフラッシュ発光が行われたタイミングによって画面内のどこに帯状の高輝度領域が現れるかが異なるためである。
【００８８】
ステップＳ１８でＹＥＳの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていると判定し（ステップＳ１６）、処理を終了する。ステップＳ１８でＮＯの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。
【００８９】
これにより、特別な装置を設けることなく、既存のハードウエアにソフト演算を追加する事で、他者のカメラによってフラッシュ発光が行われたか否かを検出する事が可能となる。
【００９０】
なお、図３、図７に示すフローにおいて、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断するステップ（ステップＳ１１）は、他者のフラッシュ発光による光がＣＭＯＳセンサ２６全体に入射することにより、ライン方向の測光分割エリアの差分のばらつきが小さいと考えられるために補助的に行うステップであり、必須ではない。
【００９１】
すなわち、図３に示すフローにおいては、ステップＳ１０で取得した測光値に対して、測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断するステップ（ステップＳ１２）でＹＥＳと判断されたら、次のフレームの測光値を取得するステップ（ステップＳ１３）に進むようにしてもよい。また、図７に示すフローについては、ステップＳ１０で取得した測光値に対して、測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断するステップ（ステップＳ１２）でＹＥＳと判断されたら、高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断するステップ（ステップＳ１８）に進むようにしてもよい。
【００９２】
また、露出時間が長い場合に高輝度領域を検出する方法は、（１）に記載した方法に限定されず、例えば、入力された水平ラインごとの輝度成分の積算値（垂直走査方向に関する輝度変化情報）に基づき、他者のカメラ等からのフラッシュ発光を検出する方法も考えられる。
【００９３】
ＣＰＵ１０は、まず、所定のフレームの画像信号において、各ライン毎に輝度成分の積算値を算出し、ライン読み出し方向に関して、積算値が所定の値Ｉ１より低い状態（低輝度状態）から所定の値Ｉ２（ただし、Ｉ２＞Ｉ１）より高い状態（高輝度状態）へ遷移したか否かを判定し、低輝度状態から高輝度状態への遷移を検出した場合には、遷移を検出したラインの位置Ｐ１を記憶する。次いで、次のフレームについて、各ライン毎に輝度成分の積算値を取得し、ライン読み出し方向に関して、積算値が高輝度状態から低輝度状態へ遷移したか否かを判定し、高輝度状態から低輝度状態への遷移を検出した場合には、遷移を検出した水平ラインの位置Ｐ２を記憶する。そして、検出された遷移位置Ｐ１，Ｐ２がほぼ等しい場合（例えば、前後１水平ライン以内の場合）には、上記の高輝度状態は他者のフラッシュ発光によるものであると判定する。この方法を用いても、ＣＰＵ１０は、連続する２つのフレームにまたがってほぼ１フレーム分の高輝度期間が存在するか否かを判定し、この高輝度期間を他者のフラッシュ発光として検出することができる。
【００９４】
また、図３、図７に示すフローにおいて、現フレームの測光値と１フレーム前の測光値との差分を算出し、差分を用いてステップＳ１１、Ｓ１２、Ｓ１４、Ｓ１５、Ｓ１８等の処理を行ったが、差分を算出することは必須ではなく、各フレームの測光値をそのまま用いて上記各処理を行うことも可能である。ただし、差分を用いることでより正確な処理を行うことができるという効果がある。
【００９５】
また、図３、図７に示すフローにおいて、ステップＳ１１、Ｓ１４の処理は必須ではなく、ステップＳ１０の次にステップＳ１２を行うようにしたり、ステップＳ１３の次にステップＳ１５の処理を行うようにしたり、ステップＳ１０の次にステップＳ１７の処理を行うようにしてもよい。ただし、ステップＳ１１、Ｓ１４の処理を行うことにより、他者フラッシュ発光によらずに測光値が高くなる場合、例えば、高輝度の点があることによりライン方向の測光分割エリア全体の測光値が高くなる場合、を確実に除外することができるという効果がある。
【００９６】
また、図３、図７に示すフローにおいて、分割測光エリアの測光値のライン方向の平均値に基づいて他者によるフラッシュ発光の有無を検出したが、分割測光エリアの測光値の平均値に限らず、分割測光エリアの測光値の中心値などの各種代表値を用いてもよいし、分割測光エリアの測光値の総和や積算値等を用いてもよい。
【００９７】
また、図３、図７に示すフローにおいて、分割測光エリアの測光値に基づいて他者によるフラッシュ発光の有無を検出したが、分割測光エリアの測光値に限らず、ライン方向の輝度、すなわち１又は複数のラインの輝度の平均値、中心値などの各種代表値や、１又は複数のラインの輝度の総和、積算値等を用いてもよい。
【００９８】
＜他者のフラッシュ発光による露出オーバーをなくす処理について＞
図９は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものである。
【００９９】
図９に示す例においては、フレームＢの読み出しの最中に他者によるフラッシュ発光があった場合であり、フレームＢ、Ｃにわたって高輝度領域が検出される。しかしながら、フレームＢ、Ｃは画面の一部のみが高輝度領域であるため、画面の一部が白とびするなどの不自然なスルー画や動画となってしまう。
【０１００】
そのため、本実施の形態では、高輝度領域が検出されたフレームを使用せず高輝度領域が検出されたフレームの前のフレーム（この場合には、フレームＡ）の画像を表示や記録に用いる。
【０１０１】
図１０は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームをその前のフレームの画像に置き換えて表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。
【０１０２】
ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２から１画面を複数の領域に分割して得られた各測光分割エリア毎の測光値を１フレーム分取得する。それと共に、ＣＰＵ１０は、画像信号処理回路３４の指示を出し、画像信号処理回路３４は、ステップＳ２０で取得したフレームの画像信号の演算処理を行って画像データを生成（演算処理）し、ＶＲＡＭ１８に保存する（ステップＳ２０）。
【０１０３】
図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ２１）。
【０１０４】
高輝度領域が含まれると判定された場合（ステップＳ２１でＹＥＳ）には、ステップＳ２０で取得したフレームの画像データの変わりに、ステップＳ２０で取得したフレームの前に取得され、ＶＲＡＭ１８に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、画像データをＬＣＤ４０に出力する（ステップＳ２２）。
【０１０５】
高輝度領域が含まれないと判断された場合（ステップＳ２１でＮＯ）には、ステップＳ２０で生成された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、ＬＣＤ４０に出力する（ステップＳ２３）。
【０１０６】
ステップＳ２１〜Ｓ２３について図９を用いて具体的に説明する。図９は横軸に時間を示し、縦方向の位置が同じ場合は同じ時間を示す。図９は露光時間が長い場合であるため、ステップＳ２１においては、図３のフローに基づいて高輝度領域が含まれると判定されたか否かを判断する。
【０１０７】
フレームＡについてステップＳ２１の判断が行われている時に、ステップＳ２０におけるフレームＢの測光値の取得及び演算処理が行われる。
【０１０８】
次に、フレームＢについてステップＳ２１の判断が行われる。この段階では、高輝度領域があるフレームが２フレーム連続していないため、フレームＢについての判断は保留される。この時、フレームＡの表示画像データの生成処理が同時に行われている。
【０１０９】
それと同時に、フレームＣの測光値の取得及び演算処理（ステップＳ２０）が行われ、次の段階で、フレームＤの測光値の取得及び演算処理（ステップＳ２０）と同時に、フレームＣについてステップＳ２１の判断が行われる。この段階では、フレームＢ、Ｃの２フレームの測光値に基づき、フレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。この時、フレームＢの表示画像データの生成処理と、フレームＡについてのステップＳ２３のスルー画像表示が行われる。
【０１１０】
次に、フレームＥの測光値の取得及び演算処理、フレームＤについてのステップＳ２１の判断、フレームＣの表示画像データの生成処理、及びフレームＢについてのステップＳ２２のスルー画像表示が行われる。１つ前の段階でフレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断されたため、フレームＢの画像データは用いず、フレームＢの代わりにフレームＡの画像データをＬＣＤ４０に表示する。
【０１１１】
その次に、フレームＦの測光値の取得及び演算処理、フレームＥについてのステップＳ２１の判断、フレームＤの表示画像データの生成処理、及びフレームＣについてのステップＳ２２のスルー画像表示が行われる。２つ前の段階でフレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断されたため、フレームＣの画像データは用いず、フレームＣの代わりにフレームＡの画像データをＬＣＤ４０に表示する。
【０１１２】
ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。
【０１１３】
なお、図１０はスルー画像の撮影を例に説明したが、表示画像データの生成を記録用の画像データに、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップＳ２１の処理として図７に示すフローを用いることにより、同様に処理することができる。
【０１１４】
このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、その代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する、すなわち高輝度領域の検出があったフレームの画像を高輝度領域を含まない画像に置き換えることで、画面の一部白とびなどの不自然なスルー画像の表示、動画記録をなくすことができる。したがって、スルー画や動画の画質を向上させ、トータル的に見栄を改善することができる。
【０１１５】
なお、図９、１０において、高輝度領域の検出があったフレームの画像を、高輝度領域が含まれるフレーム（現フレーム）の前に取得され、高輝度領域を含まないフレームの画像に置き換えたが、動画記録の場合であって、撮影と記録との間に時間差がある場合には、現フレームの前に取得されたフレームの画像に限らず、現フレームの後に取得されたフレームの画像を置き換えに用いるようにしてもよい。
【０１１６】
＜他者のフラッシュ発光があったかのようなフレームを残す処理について＞
図１０に示す処理により、フレームＢ、Ｃの画像をフレームＡに置き換えることにより、画面の一部白とびなどの不自然なスルー画像表示、動画記録をなくす。しかしながら、他者によりフラッシュが発光されたことが分からなくなってしまう。すなわち、撮影時の状況を反映しないスルー画像、動画となってしまう。
【０１１７】
そのため、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映する。以下、他者によるフラッシュの発光があったかのようなフレームを擬似的に残す方法について説明する。
【０１１８】
（１）ＡＥの目標値を一定量上げて撮影する形態について
図１１は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、次のフレームのＡＥの目標値を一定量上げて撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。フレームＢ、Ｃの画像に高輝度領域が含まれると判断されると、フレームＣの判定後に露光が行われるフレーム、すなわちフレームＦのＡＥの目標値を一定量上げて撮影することで、フレームＦの画面全体を高輝度とする。
【０１１９】
図１２は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつＡＥの目標値を一定量上げることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。図１２において、図１０と同様の部分については、同一の符号を付し、説明を省略する。
【０１２０】
ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得すると共に、画像データを生成し、ＶＲＡＭ１８に保存する（ステップＳ２０）。図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ２１）。
【０１２１】
高輝度領域が含まれないと判断された場合（ステップＳ２１でＮＯ）には、ステップＳ２０で取得された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換し、ＬＣＤ４０に出力する（ステップＳ２３）。
【０１２２】
高輝度領域が含まれると判定された場合（ステップＳ２１でＹＥＳ）には、ステップＳ２０で取得したフレームの前に取得され、ＶＲＡＭ１８に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換し、ＬＣＤ４０に出力する（ステップＳ２２）。
【０１２３】
そして、次に撮影するフレームのＡＥ目標値を、ステップＳ２１で他者によるフラッシュ発光の有無を判断するのみ用いた閾値（例えば、２ＥＶ）分高く設定して、次のフレームの撮影を行う（ステップＳ２５）。
【０１２４】
ステップＳ２５について図１１を用いて具体的に説明する。図１１は横軸に時間を示し、横方向の位置が同じ場合は同じ時間を示す。
【０１２５】
フレームＥの露光、フレームＤの測光値の取得及び演算処理（ステップＳ２０）と同時に、フレームＣについてステップＳ２１の判断が行われる。この段階では、フレームＢ、Ｃの２フレームの測光値に基づき、フレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。
【０１２６】
そのため、次に露光を行うフレーム、すなわちフレームＦについては、ＡＥ目標値をその他のフレーム（フレームＡ〜Ｅ）の値から所定の閾値（例えば、２ＥＶ）高い値の画像信号を取得する。これにより、フレームＦは画面全体が露出オーバーとなる。
【０１２７】
ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。
【０１２８】
なお、図１２はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップＳ２１の処理として図７に示すフローを用いることにより、同様に処理することができる。
【０１２９】
このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映することができる。
【０１３０】
なお、ＡＥ目標値を所定の閾値だけ高い値の画像信号を取得する方法としては、露光後の画像信号に掛けるゲインを調整する、絞り等を調整して光量を増やすなどの様々な方法を用いることができる。
【０１３１】
（２）自己のフラッシュを用いてフラッシュ撮影した画像を用いる形態について
図１３は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、自己のフラッシュを用いてフラッシュ撮影した画像を用いることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。フレームＢ、Ｃの画像に高輝度領域が含まれると判断されると、フレームＣの判定後に露光が行われるフレーム、すなわちフレームＧで自己のフラッシュを発光させることで、フレームＧの画面全体を高輝度とする。
【０１３２】
図１４は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつ自己のフラッシュを用いてフラッシュ撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。図１４において、図１０と同様の部分については、同一の符号を付し、説明を省略する。
【０１３３】
ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得する。また、ＣＰＵ１０は、画像信号処理回路３４の指示を出し、画像信号処理回路３４は、ステップＳ２０で取得したフレームの画像信号の演算処理を行って画像データを生成し、ＶＲＡＭ１８に保存する（ステップＳ２０）。図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ２１）。
【０１３４】
高輝度領域が含まれないと判断された場合（ステップＳ２１でＮＯ）には、ステップＳ２０で生成された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、ＬＣＤ４０に出力する（ステップＳ２３）。
【０１３５】
高輝度領域が含まれると判定された場合（ステップＳ２１でＹＥＳ）には、ステップＳ２０で取得したフレームの画像データを、その前に取得したフレームの画像データであって、高輝度領域が含まれないフレームの画像データに置き換え、置き換えられた画像データをＬＣＤドライバ３８で表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、ＬＣＤ４０に出力する（ステップＳ２２）。
【０１３６】
そして、ＣＰＵ１０は、フラッシュ撮影の準備を行い、次のフレームのライン読み出し方向のリセットタイミングより後からフラッシュ発光を開始し、２つ後のライン読み出し方向の１ライン目の読み出しが終わるまでにフラッシュ発光を止めるように、フラッシュ発光部２０を制御して被写体にフラッシュを発光させる（ステップＳ２６）。
【０１３７】
ステップＳ２６について図１３を用いて具体的に説明する。図１３は横軸に時間を示し、縦方向の位置が同じ場合は同じ時間を示す。
【０１３８】
フレームＥの露光、フレームＤの測光値の取得及び演算処理（ステップＳ２０）と同時に、フレームＣについてステップＳ２１の判断が行われる。この段階では、フレームＢ、Ｃの２フレームの測光値に基づき、フレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。
【０１３９】
そのため、次に露光を行うフレーム、すなわちフレームＦの最後に読み出しが行われるラインのリセットタイミングより後にフラッシュ発光部２０の発光を開始し、かつフレームＧの最初に読み出しが行われるラインの読み出しタイミングより前にフラッシュ発光部２０の発光を止めて、フレームＧの画像信号の読み出しを行う。
【０１４０】
これにより、前後のフレーム（この場合には、フレームＦ、フレームＨ）に影響を与えることなく、フレームＧは画面全体が露出オーバーとなる。
【０１４１】
ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。
【０１４２】
なお、図１４はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップＳ２１の処理として図７に示すフローを用いることにより、同様に処理することができる。
【０１４３】
このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、スルー画や動画に撮影時の雰囲気を反映することができる。
【０１４４】
また、備え付けのフラッシュを用いることで、より他者からの飛び込みフラッシュに近い効果をもったフレームを擬似的に残すことができる。
【０１４５】
（３）２フレームにまたがって取得された高輝度領域を合成する形態について
図１５は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、他者のフラッシュが発光による高輝度領域を合成した生成した画像を使用することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。フレームＢ、Ｃの画像に高輝度領域が含まれると判断されると、フレームＣの次フレーム、すなわちフレームＤの画像の変わりにフレームＢ、Ｃの高輝度領域を合成した画像を使用する。
【０１４６】
図１６は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつその後のフレームの画像データを２フレームにまたがって取得された高輝度領域を合成した画像に置き換えることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。図１６において、図１０と同様の部分については、同一の符号を付し、説明を省略する。
【０１４７】
ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得し、画像信号処理回路３４の指示を出し、画像信号処理回路３４は画像信号の演算処理を行って画像データを生成し、ＶＲＡＭ１８に保存する（ステップＳ２０）、ステップＳ２０で取得したフレームのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在するかどうかを判断する（ステップＳ２７）。
【０１４８】
ライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在していないと判断された場合（ステップＳ２７でＮＯ）には、ステップＳ２０で取得された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換し、ＬＣＤ４０に出力し（ステップＳ２３）、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。
【０１４９】
ライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在していると判断された場合（ステップＳ２７でＹＥＳ）には、ステップＳ２０で取得したフレームの前に取得され、ＶＲＡＭ１８に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換してＬＣＤ４０に出力する（ステップＳ２８）。
【０１５０】
そして、ＣＰＵ１０は、その次のフレームの画像信号を１フレーム分読み出し、各測光分割エリア毎の測光値を取得し（ステップＳ２９）、ステップＳ２９で取得したフレームのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側に連続して存在するかどうかを判別する。それと共に、この画面の上側に連続して存在すると判断された高輝度領域と、ステップＳ２７で画面の下側に連続して存在すると判断された高輝度領域の合計が約１フレーム分あるかどうかを判断する（ステップＳ３０）。それと同時に、ＣＰＵ１０は、画像信号処理回路３４の指示を出し、画像信号処理回路３４は、ステップＳ２０で取得したフレームの画像信号の演算処理を行って画像データを生成し、ＶＲＡＭ１８に保存する。
【０１５１】
ライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側に連続して存在するかどうかを判別され、かつ、この画面の上側に連続して存在すると判断された高輝度領域と、ステップＳ２７で画面の下側に連続して存在すると判断された高輝度領域の合計が約１フレーム分あると判断された場合（ステップＳ３０でＹＥＳ）には、ステップＳ２７で画面の下側に連続して存在すると判断された高輝度領域と、ステップＳ３０で画面の上側に連続して存在すると判断された高輝度領域とを合成して、画面全体が高輝度の画像データを生成する。そして、ステップＳ２９で取得されたフレームの次のフレームの画像データを、合成により生成された画面全体が高輝度の画像データに置き換え、置き換えられた画像データをＬＣＤドライバ３８で表示用の信号形式に変換してＬＣＤ４０に出力する（ステップＳ３１）。
【０１５２】
ステップＳ２７〜Ｓ３１について、図１５を用いて具体的に説明する。ステップＳ２０でフレームＢの測光値を取得した場合には、フレームＢのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在するかどうかを判断する（ステップＳ２７）。
【０１５３】
これと同時に、フレームＣの測光値を取得し（ステップＳ２９）、次の段階でフレームＣのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しているかどうか、所定の閾値以上増加しているラインが画面の上側に連続して存在するかどうか、及びこの画面の上側に連続して存在すると判断された高輝度領域と、フレームＢにおいて画面の下側に連続して存在すると判断された高輝度領域の合計が約１フレーム分あるかどうかを判断する（ステップＳ３０）。
【０１５４】
フレームＢはステップＳ２７でＹＥＳとなり、フレームＣはステップＳ３０でＹＥＳとなるため、フレームＢ、フレームＣの代わりにフレームＡの画像信号をＬＣＤ４０に出力する。これにより、高輝度領域の無い画像がＬＣＤ４０に表示される（ステップＳ２８）。
【０１５５】
フレームＣについてステップＳ３０を行うのと同時に、フレームＤの測光値の読み出しなどが行われているが、ステップＳ３０でＹＥＳであったため、次の段階では、フレームＤの画像データを生成する代わりに、フレームＢの高輝度領域と、フレームＣの高輝度領域とを合成した画像を生成し（ステップＳ３１）、ＬＣＥ４０に出力する。これにより、画面全体が露出オーバーの画像がスルー画像として表示される。
【０１５６】
ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。
【０１５７】
なお、図１２はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。
【０１５８】
このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映することができる。
【０１５９】
また、この形態では、他者がフラッシュ発光することにより撮影された画像データを実際に用いて他者によるフラッシュの発光があったことを擬似的に示すフレームを生成するため、撮影時の実際の雰囲気により近いスルー画像表示、動画記録をすることができる。
【０１６０】
本実施の形態によれば、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラがフラッシュを発光したか否かを検出することができる。
【０１６１】
また、本実施の形態によれば、他人が所有するカメラのフラッシュ光により画面の一部が明るくなることによるスルー画や動画の画質の劣化を防止することができる
また、本実施の形態によれば、他人のフラッシュ発光があったかのような画像を残すことができ、撮影時の雰囲気を残したスルー画や動画を撮影することができる。
【０１６２】
なお、本実施の形態では、他者のフラッシュ発光による高輝度領域を検出し、他者のフラッシュ発光による露出オーバーをなくす処理と、他者のフラッシュ発光があったかのようなフレームを残す処理とを行ったが、他者のフラッシュ発光による露出オーバーをなくす処理と、他者のフラッシュ発光があったかのようなフレームを残す処理の両方を必ず行なう必要は無く、他者のフラッシュ発光による露出オーバーをなくす処理のみを行なうようにしてもよい。他者のフラッシュ発光による露出オーバーをなくす処理のみで、スルー画や動画の画質の劣化を防止するという目的は果たすことができるからである。
【０１６３】
また、本実施の形態では、撮影シーンに関わらず、撮影モード時に常に他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにしたが、他者のフラッシュ発光がおきやすい撮影シーン、例えば、結婚式や記者会見などにおける人物撮影モードや、露出が低く設定される夜景モードなどに設定された場合にのみ他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにしてもよい。
【０１６４】
すなわち、図１７に示すように、他者のフラッシュ発光の影響がある撮影モード（例えば、人物撮影モード及び夜景モード）か否かを判断し（ステップＳ４０）、他者のフラッシュ発光の影響がある撮影モードである場合（ステップＳ４０でＹＥＳ）には、他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行い（ステップＳ４１）、スルー画像の撮影が終了したか否かを判断する（ステップＳ４２）。他者のフラッシュ発光の影響がある撮影モードでない場合（ステップＳ４０でＮＯ）には、スルー画像の撮影が終了したか否かを判断する（ステップＳ４２）。
【０１６５】
スルー画像の撮影が終了していない場合（ステップＳ４２でＮＯ）には、再度他者のフラッシュ発光の影響がある撮影モードか否かを判断する処理（ステップＳ４０）を行い、スルー画像の撮影が終了した場合（ステップＳ４２でＹＥＳ）には、処理を終了する。
【０１６６】
これにより、他者のフラッシュ発光による画質低下が発生する可能性が高い場合にのみ、他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにすることができる。したがって、他者のフラッシュ発光による画質低下が発生する可能性が低い場合には、実際の撮影からスルー画像の表示や動画記録までに要する時間を短縮することができる。
【０１６７】
また、図３、図７に示す露出オーバーとなっている領域を検出する処理により、他者のフラッシュ発光による高輝度領域が検出された場合には、再度他者のフラッシュ発光による高輝度領域が検出される可能性が高いため、図１８に示すように、測光分割エリアのライン読み出し方向の幅を狭くするようにしてもよい。これにより、測光値をライン読み出し方向に細かく取得できるため、他者によるフラッシュ発光があったか否かの検出精度を高くすることができる。そして、測光分割エリアのライン読み出し方向の幅に応じて、他者のフラッシュ発光があったかのようなフレームを残す処理（１）〜（３）を選択するようにしてもよい。
【０１６８】
また、図３、図７に示す露出オーバーとなっている領域を検出する処理により、他者のフラッシュ発光による高輝度領域が検出された場合には、図１９（ａ）に示すような順次読み出し（順次走査）から、図１９（ｂ）に示すようなフィールド読み出し（例えば、フィールドＡで偶数行を読み出し、フィールドＢで奇数行を読み出す、飛び越し走査）に読み出し方法を変更するようにしてもよい。
【０１６９】
すなわち、図２０に示すように、ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得し（ステップＳ４３）、図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ４４）。
【０１７０】
高輝度領域が含まれると判断された場合（ステップＳ４４でＹＥＳ）には、順次読み出しからフィールド読み出しに変更し、所定の期間はフィールド読み出しでスルー画像又は動画の読み出しを行う（ステップＳ４５）。高輝度領域が含まれないと判断された場合（ステップＳ４４でＮＯ）には、順次読み出しを所定の期間継続する（ステップＳ４６）。
【０１７１】
そして、ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ４７）。スルー画像の撮影が終了した場合（ステップＳ４７でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ４７でＮＯ）にはステップＳ４３へ戻り、次のフレームの取得を行う。
【０１７２】
これにより、他者のフラッシュ発光が検出された場合には、読み出し及びリセットに要する時間を短くすることができる。そのため、図１９における読み出し及びリセットの時間方向の傾きが小さくなり、一度他者のフラッシュ発光が検出された場合、すなわち他者のフラッシュ発光が起こりやすい場合において、他者のフラッシュ発光により画面の一部が露出オーバーとなる確率を減らすことができる。
【０１７３】
本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置にも適用することができる。また、本発明の適用は、デジタルカメラなどの装置に限らず、装置に適用するプログラムとして提供することもできる。
【図面の簡単な説明】
【０１７４】
【図１】デジタルカメラ１の電気的構成を示すブロック図である。
【図２】露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図２（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図２（ｂ）は図２（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図２（ｃ）は図２（ｂ）に示すフレームの露出値を示す図である。
【図３】露出時間が長い場合に高輝度領域を検出する処理の全体の流れを示すフローチャートである。
【図４】図３のステップＳ１１、Ｓ１２の内容を説明するための図である。
【図５】図３のステップＳ１４、Ｓ１５の内容を説明するための図である。
【図６】露光時間が短い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図６（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図６（ｂ）は図６（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図６（ｃ）は図６（ｂ）に示すフレームの露出値を示す図である。
【図７】露出時間が短い場合に高輝度領域を検出する処理の全体の流れを示すフローチャートである。
【図８】露出時間が短い場合に高輝度領域が検出される態様を示す図であり、（ａ）は露光時間と他者のフラッシュ発光とのタイミングを示す図であり、（ｂ）は（ａ）に示す場合に取得されるフレームの高輝度領域の位置を示す図である。
【図９】露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものである。
【図１０】スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームをその前のフレームの画像に置き換えて表示や記録を行う処理の流れを示すフローチャートである。
【図１１】露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、次のフレームのＡＥの目標値を一定量上げて撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。
【図１２】スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつＡＥの目標値を一定量上げることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。
【図１３】露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、自己のフラッシュを用いてフラッシュ撮影した画像を用いることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。
【図１４】スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつ自己のフラッシュを用いてフラッシュ撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。
【図１５】露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、他者のフラッシュが発光による高輝度領域を合成した生成した画像を使用することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。
【図１６】スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつその後のフレームの画像データを２フレームにまたがって取得された高輝度領域を合成した画像に置き換えることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。
【図１７】他者のフラッシュ発光がおきやすい撮影シーンに設定された場合にのみ他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行う場合の処理の流れを示すフローチャートである。
【図１８】（ａ）は高輝度領域検出前の測光領域分割エリアを示す図であり、（ｂ）は高輝度領域検出後の測光分割エリアを示す図である。
【図１９】（ａ）は高輝度領域検出前の読み出し方法（順次読み出し）を示す図であり、（ｂ）は高輝度領域検出後の読み出し方法（フィールド読み出し）を示す図である。
【図２０】高輝度領域が検出された場合に読み出し方法を変える処理の流れを示すフローチャートである。
【符号の説明】
【０１７５】
１：デジタルカメラ、１０：ＣＰＵ、１２：操作部、２０：フラッシュ発光部、２２：レンズユニット、２４：メカシャッタ、２６：ＣＭＯＳセンサ、２８：タイミングジェネレータ（ＴＧ）、３０：ＡＧＣ回路、３２：Ａ／Ｄ変換器、３４：画像信号処理回路、３６：圧縮伸張処理回路、３８：ＬＣＤドライバ、４０：液晶ディスプレイ（ＬＣＤ）、４２：ＡＥ／ＷＢ検出回路、４４：メモリカード、４６：メディアコントローラ
【図１】
2010135921.tif 000003
【図３】
2010135921.tif 000004
【図４】
2010135921.tif 000005
【図５】
2010135921.tif 000006
【図７】
2010135921.tif 000007
【図１０】
2010135921.tif 000008
【図１２】
2010135921.tif 000009
【図１４】
2010135921.tif 000010
【図１６】
2010135921.tif 000011
【図１７】
2010135921.tif 000012
【図２０】
2010135921.tif 000013
【図２】
2010135921.tif 000014
【図６】
2010135921.tif 000015
【図８】
2010135921.tif 000016
【図９】
2010135921.tif 000017
【図１１】
2010135921.tif 000018
【図１３】
2010135921.tif 000019
【図１５】
2010135921.tif 000020
【図１８】
2010135921.tif 000021
【図１９】
2010135921.tif 000022