(57)【要約】【課題】フラッシュを発光させて撮影をする際に、画質を劣化させることなく、主被写体を含む画像全体を所望の輝度で撮影する。【解決手段】フラッシュを発光して撮影する第１の撮影とフラッシュを発光しないで撮影する第２の撮影とにおける主被写体領域の輝度差を算出する主被写体輝度差算出部１３１と、第１の撮影と前記第２の撮影における各画素の輝度差を算出する画素輝度差算出部１３２と、主被写体領域の輝度差と、各画素の画素輝度差とに基づいて、各画素の輝度増幅量を算出する増幅量算出部１３３と、を備える。【選択図】図１
2011135379.tif 000002
【特許請求の範囲】
【請求項１】
フラッシュを発光して撮影する第１の撮影とフラッシュを発光しないで撮影する第２の撮影とにおける主被写体領域の輝度差を算出する主被写体輝度差算出部と、
前記第１の撮影と前記第２の撮影における各画素の輝度差を算出する画素輝度差算出部と、
前記主被写体領域の輝度差と、前記各画素の画素輝度差とに基づいて、各画素の輝度増幅量を算出する増幅量算出部と、
を備えることを特徴とする、撮像装置。
【請求項２】
前記主被写体領域は、前記第１の撮影と前記第２の撮影における輝度差が最大の画素を含む所定の領域であることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記増幅量算出部は、前記主被写体領域の輝度差と前記各画素の画素輝度差との差分から得られる各画素の必要光量に基づいて、前記輝度増幅量を算出することを特徴とする、請求項１に記載の撮像装置。
【請求項４】
前記増幅量算出部は、前記各画素の必要光量を各画素の輝度に応じた係数で補正する補正部を含む、請求項３に記載の撮像装置。
【請求項５】
撮像素子から得られた画像信号から、適正露光量を算出する適正ＡＥ算出部と、
前記適正ＡＥ算出手段により被写体領域が特定輝度よりも低輝度と判定された場合は、フラッシュ発光を伴う撮影制御を行い、被写体領域が特定輝度よりも高輝度と判定された場合は、フラッシュ発光をさせない撮影制御を行うようにフラッシュ発光を制御するフラッシュ制御部を備える、請求項１に記載の撮像装置。
【請求項６】
被写体にフラッシュ光が到達するか否かを判定する調光センサ部を備え、
前記フラッシュ制御部は、
前記適正ＡＥ算出手段により被写体領域が特定輝度よりも低輝度と判定され、且つ前記調光センサ部により被写体にフラッシュ光が到達すると判定された場合は、フラッシュ発光を伴う撮影制御を行い、
前記適正ＡＥ算出手段により被写体領域が特定輝度よりも高輝度と判定され、かつ前記調光センサ部により被写体にフラッシュ光が到達しないと判定された場合は、フラッシュ発光させない撮影制御を行う請求項５に記載の撮像装置。
【請求項７】
フラッシュを発光して撮影する第１の撮影とフラッシュを発光しないで撮影する第２の撮影とにおける主被写体領域の輝度差を算出するステップと、
前記第１の撮影と前記第２の撮影における各画素の輝度差を算出するステップと、
前記主被写体領域の輝度差と、前記各画素の画素輝度差とに基づいて、各画素の輝度増幅量を算出するステップと、
を備えることを特徴とする、撮像方法。
【請求項８】
フラッシュを発光して撮影する第１の撮影とフラッシュを発光しないで撮影する第２の撮影とにおける主被写体領域の輝度差を算出する手段、
前記第１の撮影と前記第２の撮影における各画素の輝度差を算出する手段、
前記主被写体領域の輝度差と、前記各画素の画素輝度差とに基づいて、各画素の輝度増幅量を算出する手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、暗所シーンでの撮影において、フラッシュ発光により主被写体の露出を適正にし、背景の露出は長時間露光によって適正にするスローシンクロ撮影という方法が知られている。しかしながら、スローシンクロ撮影では、三脚で撮像装置を固定しないと像がぶれる、いわゆる手ぶれ画像が撮影される問題があった。また、スローシンクロ撮影では、長時間露光を行うため、被写体が動いている場合は被写体ぶれ画像が撮影される問題もあった。
【０００３】
特許文献１には、露光中のFlash発光後に長時間露光で得られる光量をゲイン（Gain）で補うことで、シャッター速度を速く設定し、手ぶれ画像や被写体ぶれ画像が撮影されることを防ぐ方法が開示されている。また、特許文献２には、露光時間とフラッシュの発光量を減らし、露光後に足りない光量をゲインで補うことで、ぶれ画像を防ぎつつ、主被写体と背景の明るさを適正にする方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２６８１号公報
【特許文献２】特開平７−２２２０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術では、露光中にゲイン増加（Gain  Up）を行うことで長時間露光時と同じ光量を得ているが、実際には露光後に転送された画像データに対してゲイン増加が行われるため、元の画像にはゲイン増加が反映されない問題がある。この結果、従前に比べてシャッター速度が速くなるのみであり、依然として背景は暗く撮影されるという問題が生じる。また、特許文献２に記載された技術では、フラッシュ光が届かない背景を露光後のゲイン増加にて補うが、ゲイン増加することで主被写体を含む画像全体のノイズが多くなるという問題が発生する。更に、主被写体に露出を合わせたままゲイン増加を行うと、主被写体が露出オーバーになるため、フラッシュ発光量を適正な発光量よりも低下させた状態で撮影しなければならなくなり、結果的にフラッシュの性能を最大限に引き出すことができなくなるという問題が発生する。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フラッシュを発光させて撮影をする際に、画質を劣化させることなく、主被写体を含む画像全体を所望の輝度で撮影することが可能な、新規かつ改良された撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、フラッシュを発光して撮影する第１の撮影とフラッシュを発光しないで撮影する第２の撮影とにおける主被写体領域の輝度差を算出する主被写体輝度差算出部と、前記第１の撮影と前記第２の撮影における各画素の輝度差を算出する画素輝度差算出部と、前記主被写体領域の輝度差と、前記各画素の画素輝度差とに基づいて、各画素の輝度増幅量を算出する増幅量算出部と、を備える撮像装置が提供される。
【０００８】
また、前記主被写体領域は、前記第１の撮影と前記第２の撮影における輝度差が最大の画素を含む所定の領域である。
【０００９】
また、前記増幅量算出部は、前記主被写体領域の輝度差と前記各画素の画素輝度差との差分から得られる各画素の必要光量に基づいて、前記輝度増幅量を算出する。
【００１０】
また、前記増幅量算出部は、前記各画素の必要光量を各画素の輝度に応じた係数で補正する補正部を含む。
【００１１】
また、撮像素子から得られた画像信号から、適正露光量を算出する適正ＡＥ算出部と、前記適正ＡＥ算出手段により被写体領域が特定輝度よりも低輝度と判定された場合は、フラッシュ発光を伴う撮影制御を行い、被写体領域が特定輝度よりも高輝度と判定された場合は、フラッシュ発光をさせない撮影制御を行うようにフラッシュ発光を制御するフラッシュ制御部を備える。
【００１２】
また、被写体にフラッシュ光が到達するか否かを判定する調光センサ部を備え、前記フラッシュ制御部は、前記適正ＡＥ算出手段により被写体領域が特定輝度よりも低輝度と判定され、且つ前記調光センサ部により被写体にフラッシュ光が到達すると判定された場合は、フラッシュ発光を伴う撮影制御を行い、前記適正ＡＥ算出手段により被写体領域が特定輝度よりも高輝度と判定され、かつ前記調光センサ部により被写体にフラッシュ光が到達しないと判定された場合は、フラッシュ発光させない撮影制御を行う。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、フラッシュを発光して撮影する第１の撮影とフラッシュを発光しないで撮影する第２の撮影とにおける主被写体領域の輝度差を算出するステップと、前記第１の撮影と前記第２の撮影における各画素の輝度差を算出するステップと、前記主被写体領域の輝度差と、前記各画素の画素輝度差とに基づいて、各画素の輝度増幅量を算出するステップと、を備える撮像方法が提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、フラッシュを発光して撮影する第１の撮影とフラッシュを発光しないで撮影する第２の撮影とにおける主被写体領域の輝度差を算出する手段、前記第１の撮影と前記第２の撮影における各画素の輝度差を算出する手段、前記主被写体領域の輝度差と、前記各画素の画素輝度差とに基づいて、各画素の輝度増幅量を算出する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１５】
本発明によれば、フラッシュを発光させて撮影をする際に、画質を劣化させることなく、主被写体を含む画像全体を所望の輝度で撮影することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態にかかる撮像装置の構成を示す模式図である。
【図２】本実施形態が実現する効果を模式的に示す図である。
【図３Ａ】本実施形態に係る画素毎のゲインの算出法を説明するための模式図である。
【図３Ｂ】本実施形態に係る画素毎のゲインの算出法を説明するための模式図である。
【図３Ｃ】本実施形態に係る画素毎のゲインの算出法を説明するための模式図である。
【図３Ｄ】本実施形態に係る画素毎のゲインの算出法を説明するための模式図である。
【図４】ゲインを補正するための係数参照テーブルを示す模式図である。
【図５】本実施形態の撮像装置による処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
図１は本発明の一実施形態にかかる撮像装置１００の構成を示す模式図である。図1は、本実施形態に係るデジタルスチルカメラ（Digital Still Camera）において、主に画像処理パイプライン（Pipe Line）に関係するブロック図を表している。図１に示すように、本発明の一実施形態に係る撮像装置１００は、ズームレンズ（群）１０２と、絞り兼用シャッター１０４と、フォーカスレンズ（群）１０８と、撮像素子としてのＣＣＤ(Charge Coupled Devices)素子１１０と、アンプ一体型のＣＤＳ(Correlated Double Sampling)回路１１２と、Ａ／Ｄ変換器１１４と、画像入力コントローラ１１６と、ＡＥ評価値算出回路１１８と、画像処理回路１２０と、圧縮処理部１２２と、ＬＣＤ(Liquid Crystal Display)ドライバ１２４と、ＬＣＤ１２６と、タイミングジェネレータ１２８と、画素増幅部１３０と、ＣＰＵ(Central Processing Unit)１５０と、メモリ１３４と、ＶＲＡＭ(Video Random Access Memory)１３６と、メディアコントローラ１３８と、記録メディア１４０と、モータ１４２と、ドライバ１４４と、調光センサ１６０と、フラッシュ部１７０と、を有して構成されている。
【００１９】
ズームレンズ１０２、絞り兼用シャッター１０４、およびフォーカスレンズ１０８は、各ドライバ１４４によって制御されるアクチュエータ１４２を介して駆動される。ズームレンズ１０２は、光軸方向に前後して移動され、焦点距離を連続的に変化させるレンズである。絞り兼用シャッター１０４は、画像を撮像する際に、ＣＣＤ素子１１０への露光時間を制御するとともに、ＣＣＤ素子１１０へ入射する光量の調節を行う。フォーカスレンズ１０８は、光軸方向に前後して移動され、ＣＣＤ素子１１０へ結像された被写体の画像のピントを調節するものである。
【００２０】
ＣＣＤ素子１１０は、ズームレンズ１０２、絞り兼用シャッター１０４、およびフォーカスレンズ１０８を通って入射した光を電気信号に変換するための素子である。
【００２１】
なお、本実施形態では、撮像素子としてＣＣＤ素子１１０を用いているが、本発明は係る例に限定されず、ＣＣＤ素子１１０の代わりにＣＭＯＳ(Complementary Metal Oxide Semiconductor)素子を用いてもよく、またその他のイメージセンサを用いてもよい。ＣＭＯＳ素子は、ＣＣＤ素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮像してから画像の合成処理を行うまでの時間を短縮することができる。
【００２２】
ＣＤＳ回路１１２は、ＣＣＤ素子１１０から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。
【００２３】
Ａ／Ｄ変換器１１４は、ＣＣＤ素子１１０で生成された電気信号をデジタル信号に変換して、画像の生データ（ローデータ、画像データ）を生成するものである。画像入力コントローラ１１６は、Ａ／Ｄ変換器１１４で生成された画像の生データ（画像データ）のメモリ１３４への入力を制御するものである。
【００２４】
ＡＥ評価値算出回路１１８は、ＣＣＤ素子１１０から出力された画像のデータから、路光量情報としてのＡＥ評価値を算出する。また、画像処理回路１２０は、ＣＣＤ素子１１０から出力された画像のデータに対して、光量のゲイン補正、画像のエッジ処理（輪郭強調処理）、ホワイトバランスの調整などの処理を行う。
【００２５】
圧縮処理部１２２は、ＣＣＤ素子１１０から出力された画像のデータを適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ(Joint Photographic Experts Group)形式やＪＰＥＧ２０００形式に変換してもよい。
【００２６】
ＬＣＤ１２６は、撮像操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮像した画像の表示等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１２６への表示は、ＬＣＤドライバ１２４を介して行われる。
【００２７】
タイミングジェネレータ１２８は、ＣＣＤ素子１１０にタイミング信号を入力する。つまり、タイミングジェネレータ１２８からのタイミング信号によりＣＣＤ素子１１０の駆動が制御される。タイミングジェネレータ１２８は、ＣＣＤ素子１１０が駆動する時間内に被写体からの映像光を入射させることで、ＣＣＤ素子１１０に電子シャッターの機能を持たせることも可能である。
【００２８】
メモリ１３４は、撮像した画像を一時的に記憶するものである。メモリ１３４は、複数の画像を記憶できるだけの記憶容量を有している。メモリ１３４への画像の読み書きは画像入力コントローラ１１６によって制御される。
【００２９】
画素増幅部１３０は、画素の増幅量（ゲイン）を算出する構成要素であって、後述するように、フラッシュ部１７０を発光させる第１の撮影と、フラッシュ部１７０を発光させない第２の撮影との結果から、各画素の輝度の増幅量を算出する。画素増幅部１３０は、第１の撮影と第２の撮影において、主被写体領域の輝度差を算出する主被写体輝度差算出部１３１と、各画素の輝度差を算出する画素輝度差算出部１３２を備える。また、算出した主被写体領域の輝度差と、各画素の画素輝度差とに基づいて、各画素の輝度増幅量（ゲイン）を算出する増幅量算出部１３３を備える。
【００３０】
ＶＲＡＭ１３６は、ＬＣＤ１２６に表示する内容を保持するものであり、ＬＣＤ１２６の解像度や最大発色数はＶＲＡＭ１３６の容量に依存する。
【００３１】
記録メディア１４０は、撮像した画像を記録するものである。記録メディア１４０への入出力は、メディアコントローラ１３８によって制御される。記録メディア１４０としては、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。
【００３２】
ＣＰＵ１５０は、ＣＣＤ素子１１０やＣＤＳ回路１１２などに対して信号系の指令を行ったり、操作部、シャッターボタンの操作に応じた操作系の指令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うようにしてもよい。
【００３３】
また、ＣＰＵ１５０は、適正ＡＥ算出部１５２と、フラッシュ制御部１５４と、を含んで構成される。適正ＡＥ算出部１５２は、撮像装置１００で自動露光を行い、ＥＶ(Exposure  Value)値を取得する。適正ＡＥ算出部１５２では、撮影した画像のＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ；自動露光）評価値の算出を行うが、上述のように、ＡＥ評価値はＡＥ評価値算出回路１１８で算出することもできる。また、適正ＡＥ算出部１５２は、調光センサ１６０の検出値に応じてＡＥ評価値を算出する。
【００３４】
フラッシュ制御部１５４は、適正ＡＥ算出部１５２で算出したＡＥ評価値に基づいて、フラッシュ１７０の発光を制御する。また、適正ＡＥ算出部１５２は、ＡＥ評価値に基づいて、被写体を撮影する際の絞り値、シャッター速度を決定する。ドライバ１４４は、決定された絞り値、シャッター速度に基づいて制御され、モータ１４２を駆動する。これにより、レンズ光学系が備える絞り兼用シャッターが駆動される。
【００３５】
調光センサ１６０は、被写体にフラッシュ部１７０によるフラッシュ光が到達するか否かを判定するブロックである。ＣＰＵ１５０は、適正AE算出部１５２により被写体領域が特定輝度よりも低輝度と判定され、かつ調光センサ１６０により被写体にフラッシュ光が到達すると判定された場合は、フラッシュ制御部１５４の制御によってフラッシュ部１７０を発光させる。一方、ＣＰＵ１５０は、適正AE算出部１５２により被写体領域が特定輝度よりも低輝度と判定され、かつ調光センサ１６０により被写体にフラッシュ光が到達しないと判定された場合は、フラッシュ制御部１５４の制御によりフラッシュ部１７０を発光させない。
【００３６】
図１に示す、CCD、CMOSなどの撮像素子１１０を含むAnalog front end（AFE）から得られたRGB画像信号は、主として画像処理回路１２０にて、欠陥画素補正、黒Level補正などのイメージフロントプロセス（Image front process）処理が施され、更にホワイトバランス（White Balance）補正処理、ベイヤー（Bayer）色補間(Demosaic)処理、色補正処理、ガンマ（Gamma）補正処理などの電子的処理を行い画像記録が行われる。なお、図１に示す各機能ブロックは、回路（ハードウェア）、またはＣＰＵ１５０とこれを機能させるためのプログラム（ソフトウェア）によって構成することができ、そのプログラムは、撮像装置１００が備えるメモリ、または外部から接続されるメモリなどの記録媒体に格納されることができる。
【００３７】
本実施形態においては、フラッシュ発光時の撮影画像に対して画素別に適切なゲイン（Gain）を算出することで、フラッシュ部１７０による光が届かない被写体に対しても、所望の輝度での撮影を可能にする。図２は、本実施形態が実現する効果を模式的に示す図であって、夕暮れ時など「空」が暗くなってきた状態での景色を示している。
【００３８】
ここで、図２の左上の図は、肉眼で見える景色を示している。このように、肉眼では、夕暮れ時であっても、右側の手前に位置する人物と、その奥の背景の「芝生」、「樹木」は比較的輝度が高いものとして認識される。
【００３９】
また、図２の左下の図は、長時間露光を行うフラッシュ撮影による画像を示している。この場合、右側の「人」は、フラッシュが照射されるため、その輝度が高い状態で撮影される。また、背景の「芝生」、「樹木」は、フラッシュ光は十分に届かないものの、長時間露光により、その輝度が高い状態で撮影される。
【００４０】
図２の右上の図は、長時間露光を行わないフラッシュ撮影による画像を示している。この場合、右側の「人」は、フラッシュが照射されるため、その輝度が高い状態で撮影される。一方、背景の「芝生」、「樹木」は、フラッシュ光が届かないため、その輝度が非常に低い状態で撮影される。従って、背景の殆どが暗くなり、「芝生」、「樹木」などを認識できない画像となってしまう。
【００４１】
一方、図２の右下の図は、本実施形態による、長時間露光を行わないフラッシュ撮影による画像を示している。このように、本実施形態では、フラッシュ発光時の撮影画像に対して画素別に適切なゲインを算出することで、フラッシュ光が届かない被写体に対しても、長時間露光を行った場合と同等の所望の輝度での撮影が可能となる。
【００４２】
以下、本実施形態に係る画素毎のゲインの算出法について、図３Ａ〜図３Ｄに基づいて説明する。図３Ａは、図２で説明した被写体を撮影する場合に領域“３Ｂ”、“３Ｃ”、“３Ｄ”のそれぞれの位置を示している。後述するように、主被写体領域“３Ｂ”については図３Ｂによる処理、領域“３Ｃ”については図３Ｃによる処理、領域“３Ｄ”については図３Ｄによる処理が行われる。
【００４３】
図３Ｂ〜図３Ｄは、本実施形態における、画素の増幅量（ゲイン）を算出する画素増幅部１３０の処理を模式化した図である。まず、撮像素子１１０から得られた画像信号（ＡＥ評価値）に基づいて、適正ＡＥ算出部１５２は、光量不足と判断した場合、手ぶれ・被写体ぶれが発生しないシャッター（Shutter）速度に設定を行う。また、フラッシュ制御部１５４は、画像全体に対して適正露出となるフラッシュ光量を決定する。そして、フラッシュ制御手段１５４は、決定されたフラッシュ光量に基づいてフラッシュ部１７０を発光させる。これにより、フラッシュを発光して撮影する第１の撮影が行われる。
【００４４】
次に、上記の露光条件にて、フラッシュを発光しないで撮影する第２の撮影を行う。そして、このときの第１の撮影と第２の撮影で得たローデータ（Raw  Data）より、フラッシュ反射量の差が最大となる画素を特定する。
【００４５】
ここで、第１の撮影における、ある特定画素の輝度をＡｎとし、第２の撮影における、ある特定画素の輝度をＢｎとする。また、以下の（式１）に示すように、Ａｎ（対数変換した値）とＢｎ（対数変換した値）の差をΔＹｎとする。ここで、ｎはピクセル（Pixel）毎に変化する値とする。Pixel数が100のRawDataであればnは0〜99まで変化する。
【００４６】
【数１】
2011135379.tif 000003
【００４７】
第１の撮影のRawDataより、ΔYｎが最大値となる画素を中心座標とした領域をＭ１とし、以下の（式２）により領域Ｍ１内の各画素の輝度を平均して、第１の平均輝度であるＹＡ１を求める。ここで、領域Ｍ１の幅をｗとし、高さをｈとする。また、領域Ｍ１のサイズ（Size）は特に限定されるものではないが、一例として、５×５＝２５ピクセル程度の値とすることができる。
【００４８】
【数２】
2011135379.tif 000004
【００４９】
第２の撮影のRawDataより、ΔＹｎが最大値となる画素を中心座標とした領域をＭ２とし、領域Ｍ２から第２の平均輝度であるＹＡ２を求める。なお、領域のサイズ（size）は（式２）と同じサイズになるように設定され、領域Ｍ１とＭ２は同一領域である。
【００５０】
【数３】
2011135379.tif 000005
【００５１】
ここで、以下の（式４）、（式５）のように、算出したＹＡ１を対数変換した値をＹＦとし、同じくＹＡ２を対数変換した値をＹＮとする。
【００５２】
【数４】
2011135379.tif 000006
【００５３】
ここで、図３Ｂの主被写体領域の図に示すように、フラッシュ発光時の輝度ＹＮに対して、フラッシュ発光時の輝度ＹＦは、フラッシュの発光分だけ光量が増加している。
【００５４】
次に、（式４）と（式５）で求まったＹＮとＹＦより、第１の撮影と第２の撮影の被写体輝度差ＹＧを以下の(式６)より求める。また、このときの条件をＹＦ＞ＹＮとし、この条件が真の場合は（式６）が成立し、偽の場合はＹＧ＝０とする。
【００５５】
【数５】
2011135379.tif 000007
【００５６】
図３Ｂに示すように、ＹＧの値は、フラッシュによって増加した光量に相当し、この値が基準となる。以上のような被写体輝度差ＹＧの算出は、画素増幅部１３０の主被写体輝度差算出部１３１にて行われる。
【００５７】
次に全画素に対して、第１の撮影と第２の撮影による輝度値を求める。ここで算出する第１の撮影の特定画素の輝度値をＰ１とし、この値を対数変換した値をＰＦとする。また、第２の撮影の特定画素の輝度値をＰ２とし、この値を対数変換した値をＰＮとする。
【００５８】
【数６】
2011135379.tif 000008
【００５９】
次に、（式７）と（式８）で求まったＰＦとＰＮより、特定画素の第１の撮影と第２の撮影の画素輝度差を求める。この画素輝度差をＰＧとし、以下の（式９）より求める。また、このときの条件をＰＦ＞ＰＮとし、真の場合は（式９）が成立し、偽の場合はＰＧ＝０とする。
【００６０】
【数７】
2011135379.tif 000009
【００６１】
ＰＧの値は、全画素のそれぞれについて算出する。画素輝度差ＰＧの算出は、画素増幅部１３０の画素輝度差算出部１３２にて行われる。全画素について画素輝度差ＰＧが求まると、次に、（式６）と（式９）より、特定画素の必要光量を求める。ここで算出する特定画素の必要光量をＦＧとし、以下の（式１０）より求める。また、このときの条件をＹＧ＞ＰＧとし、真の場合は（式１０）が成立し、偽の場合はＦＧ＝０とする。
【００６２】
【数８】
2011135379.tif 000010
【００６３】
ここで、上述のように、ＰＧの値は各画素毎に求められた値であり、一方、ＹＧの値は主被写体領域について求められた値である。従って、ＹＧとＰＧとの差分であるＦＧは、主被写体領域以外の領域について、光量の不足分を表している。
【００６４】
図３Ａに基づいて説明すると、主被写体（右側の人物の顔）よりも左側の背景に見える領域“３Ｃ”の「樹木」には、フラッシュ光が多少届くため、この被写体はフラッシュ光が多少届く中距離の被写体である。このような被写体に対応する画素については、図３Ｃに示すように、フラッシュ非発光時の輝度ＰＮ、フラッシュ発光時の輝度ＰＦは、ともに主被写体領域の輝度ＹＮ、ＹＦよりも低下し、フラッシュ発光による輝度の増加量（画素輝度差ＰＧ）もＹＧに比べて低下する。このため、ＹＧとＰＧの差分をとることにより、中距離の被写体の必要光量ＦＧを求めることができ、これに基づいて中距離の被写体に対応する画素の増幅量(ゲイン)を求めることができる。そして、このゲインに基づいて中距離の被写体の画素の輝度を補正することで、中距離の被写体の輝度を主被写体領域の輝度と同等まで高めることができる。
【００６５】
遠距離の被写体に対応する画素についても、同様の処理が行われる。図３Ａに示す画像において、主被写体（右側の人物の顔）よりも右上の奥に見える領域“３Ｄ”の「雲」には、フラッシュ光が全く届かないため、この被写体はフラッシュ光が全く届かない遠距離の被写体である。このような被写体に対応する画素については、図３Ｄに示すように、フラッシュ非発光時の輝度ＰＮ、フラッシュ発光時の輝度ＰＦは、ともに主被写体領域の輝度ＹＮ、ＹＦよりも低下し、フラッシュ光が全く届かないため、フラッシュ発光により輝度の増加量（画素輝度差ＰＧ）は０となる。このため、ＹＧとＰＧ（＝０）の差分をとることにより、遠距離の被写体の必要光量ＦＧに対応するゲインを求めることができ、これに基づいて遠距離の被写体の画素の輝度を補正することで、遠距離の被写体の輝度を主被写体領域の輝度と同等まで高めることができる。
【００６６】
以上のように、主被写体輝度差に基づいて各画素の必要光量ＦＧを求め、必要光量ＦＧに対応するゲインで各画素の輝度を補正することで、中距離、遠距離の被写体についても、主被写体と同等の輝度を確保することができる。なお、必要光量ＦＧの算出、必要光量ＦＧに対応するゲインの算出は、画素増幅部１３０の増幅量算出部１３３にて行われる。これにより、図２で説明したように、主被写体領域以外の領域においても、輝度を高くすることが可能となる。
【００６７】
次に、図４に基づいて、ゲインを補正するための係数参照テーブルについて説明する。図４は、特定画素の輝度値に対する係数の参照テーブルの例を示す模式図である。各画素について必要光量ＦＧに基づいて輝度を補正した場合、元々「黒」に近い暗い輝度の画素においては、ゲインを増加して輝度を高くすると、画像が不自然になることが想定される。このため、図４に示すテーブルにより、低輝度画素と適正ゲインのバランスを調整する係数kを求め、画素増幅部１３０による最終的な増幅のための乗数である最終ゲイン（FinalGain）を以下の（式１１）より求める。また、このときの条件をＦＧ＞０とし、この条件Ｇが真の場合は（式１１）が成立し、偽の場合はk＝１とする。
【００６８】
【数９】
2011135379.tif 000011
【００６９】
そして、第１の撮影にて得られた画像信号の全画素に対して、（式11）で求めた最終ゲインを画素増幅部１３０によって適用することで、最適な明るさの画像を得ることが可能となる。係数ｋを用いたゲインの補正は、増幅量算出部１３３が備える補正部にて行われる。
【００７０】
次に、本実施形態による処理の手順を図５のフローチャートに基づいて説明する。先ず、ステップＳ１０では、ユーザによりシャッター動作が行われたか否かを判定し、シャッター動作が行われた場合はステップＳ１２へ進む。シャッター動作が行われていない場合はステップＳ１０で待機する。
【００７１】
次に、ステップＳ１２では、適正AE算出部１５２において、手振れ、被写体ぶれが発生しないシャッター速度を設定する。次に、ステップＳ１４では、フラッシュ部１７０を発光させて第１の撮影を行う。次に、ステップＳ１６では、フラッシュ部１７２を発光させずに第２の撮影を行う。
【００７２】
次に、ステップＳ１８では、第１の撮影と第２の撮影から、フラッシュ反射量が最大となる画素を検出する。この際、上述したように、全画素についてΔＹｎを算出し、ΔＹｎが最大となる画素を見つける。次に、ステップＳ２０では、ステップＳ１８で検出した画素を中心とする画素領域から、主被写体輝度差ＹＧを算出する。
【００７３】
その後、ステップＳ２２〜Ｓ３２のループを全画素について処理する。先ず、ステップＳ２４では、特定の画素について、第１の撮影と第２の撮影における画素輝度差ＰＧを算出する。次のステップＳ２６では、主被写体輝度差ＹＧと画素輝度差ＰＧとから、この特定画素の必要光量ＦＧを算出する。次のステップＳ２８では、必要光量ＦＧをゲインに変換する。ここでは、上述した（式１１）から最終ゲインを算出する。次のステップＳ３０では、ステップＳ２８で求めた最終ゲインをこの特定画素の輝度値に乗算して、画素増幅を実施する。１の画素について、ステップＳ２２〜Ｓ３２のループ処理が完了すると、次の特定画素についてループ処理を実施し、全画素に対して画素増幅を行う。
【００７４】
以上説明したように本実施形態によれば、手ぶれ・被写体ぶれが発生しないシャッター速度で撮影を行うことで、長時間露光による手ぶれ・被写体ぶれを解消することが可能になり、また、Flash発光と非発光画像の主被写体の輝度差と画素毎の輝度差を求め、画素毎に適切な輝度になるGain値を算出し、適用することで、背景が暗く撮影される問題を解消することが可能になる。更に、本実施形態によれば、フラッシュの性能を損なうことなく、また、主被写体以外に算出したゲインが適用されることで、主被写体の画質を落とすことなく撮影することが可能になり、主被写体と背景の明るさが適切になる画像を提供することができる。
【００７５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７６】
１００    撮像装置
１３０    画素増幅部
１３１    主被写体輝度差算出部
１３２    画素輝度差算出部
１３３    増幅量算出部
【図１】
2011135379.tif 000012
【図２】
2011135379.tif 000013
【図３Ａ】
2011135379.tif 000014
【図３Ｂ】
2011135379.tif 000015
【図３Ｃ】
2011135379.tif 000016
【図３Ｄ】
2011135379.tif 000017
【図４】
2011135379.tif 000018
【図５】
2011135379.tif 000019