(57)【要約】【課題】ストロボ光の正反射写り込みがあると調光演算が不適切になり、撮影画像にも写り込んで画質が低下する。【解決手段】ストロボ発光画像と非発光画像の輝度変化量の差分からコントラストの変化量を得、コントラストの変化量からストロボ光の正反射写り込みを検出する。検出した正反射領域は調光演算から除外し、非発光画像との画像合成に寄与しないようにする。【選択図】図６
2017085432.tif 000002
【特許請求の範囲】
【請求項１】
発光手段と、
光電変換により光を電気信号に変換することで画像データを得る撮像手段と、
前記画像データから輝度信号を得る輝度信号演算手段と、
位置変化に応じた前記輝度信号の変化量を得る輝度信号変化量算出手段と、
前記撮像手段により前記発光手段を発光させずに得られた第１の画像データから得た第１の輝度信号の変化量と
前記撮像手段により前記発光手段を発光させて得られた第２の画像データから得た第２の輝度信号の変化量から
第１の画像データと第２の画像データのコントラストの変化量を求めるコントラスト変化量演算手段と、
前記コントラスト変化量演算手段の出力に基づいて正反射領域を抽出する第１の領域抽出手段と、
前記第１の画像データの輝度信号と前記第２の画像データの輝度信号と前記正反射領域とから調光領域を抽出する調光領域抽出手段と、
前記第１の画像データの輝度信号と前記第２の画像データの輝度信号と前記調光領域から本発光量を演算する本発光量演算手段と、
露出制御手段と、
画像合成時の重み係数を求める合成重み係数算出手段と、
前記本発光量で前記発光手段を発光させて前記撮像手段により得る第３の画像データと
前記露出制御手段により露出を変化させて、前記発光手段を発光させずに前記撮像手段により得る複数の画像データとを
前記合成重み係数算出手段により得られた合成重み係数に従い合成画像を生成する画像合成手段とを備え、
前記合成重み係数算出手段は、前記第３の画像データと前記発光手段を発光させずに得られた画像データから
前記第１の領域抽出手段により得られた正反射領域に基づいて、前記第３の画像データの合成比率を決定する
ことを特徴とするカメラシステム。
【請求項２】
前記第１の画像データと前記第２の画像データから、前記第１の正反射領域により所定量以上の正反射領域が得られたとき、前記第３の画像データの取得を行わないことを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記合成重み係数算出手段は、さらに、前記第３の画像データから得た輝度信号に基づいて前記第３の画像データの合成比率を決定することを特徴とする請求項１又は請求項２に記載のカメラシステム。
【請求項４】
前記露出制御手段により露出を変化させて、前記発光手段を発光させずに前記撮像手段により得る複数の画像データを得る際の露出値は、前記調光領域抽出手段により抽出された調光領域を除外した領域を適正とする第１の露出値を含むことを特徴とする請求項１乃至請求項３の何れか一項に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストロボ付きデジタルカメラの制御方法に関する。
【背景技術】
【０００２】
デジタルカメラにおけるストロボ撮影するとき、撮影画角内にカメラに正対するガラス面を含む場合は撮影画像にストロボ発光が写り込む現象が発生する。例えば主被写体である人物の背景に窓ガラス越しの風景を写そうとする構図のとき、ストロボ発光が窓ガラスに写り込むと、その部分は白飛びして風景が見えなくなり、その周辺の領域もストロボ発光の影響を受けて白っぽくもやっとした写りになってしまう。のみならず、本発光の前に予備発光を行って得られた画像の輝度から本発光時の適正発光量を求める予備発光方式の調光制御において、撮影画面内にストロボ光の正反射が写り込むとその領域の影響を受けて調光精度が低下するという課題もある。
【０００３】
ストロボ光の正反射写り込みにより調光精度が低下する課題に対し、特許文献１では、予備発光の反射光の輝度分布と色情報を取得し、ストロボ光の色情報と概同一の場合にその領域を本発光量演算を行う際の重み付けを下げる技術を開示している。特許文献１に開示されている技術では撮影画像にストロボ光が写り込む課題は解決されない。
【０００４】
撮影画像にストロボ光が写り込む課題に対し、特許文献２では、異なる発光量や露出で撮影した複数の画像を合成することで高ダイナミックレンジの画像を生成する技術を開示している。特許文献２に開示されている技術は発光画像と非発光画像それぞれから勾配画像を求め、両勾配画像の勾配ベクトルの合成においてノイズ成分を除去することで、合成画像におけるストロボ光の正反射写り込みなどの影響を低減させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１３４４６８号公報
【特許文献２】特開２００７−３５０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の先行技術は複雑な演算を必要としており、デジタルカメラの機能として搭載して時間的ストレスなくユーザーに使用してもらうためには特別な演算回路が必要である。昨今のデジタルカメラに一般的に搭載されている演算回路を用いた簡易な演算に基づき、ストロボ撮影時のストロボ光の正反射写り込みを除去する技術が求められる。
【０００７】
また調光対象領域にストロボ光の正反射写り込み領域が含まれる場合、特許文献１で開示されているようにその領域の本発光量演算を行う際の重み付けを下げるだけでは調光演算への影響を除外できず、本来本発光で適正輝度に照射すべき主被写体の輝度を適正にすることができない。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るカメラシステムは、
発光手段と、
光電変換により光を電気信号に変換することで画像データを得る撮像手段と、
前記画像データから輝度信号を得る輝度信号演算手段と、
位置変化に応じた前記輝度信号の変化量を得る輝度信号変化量算出手段と、
前記撮像手段により前記発光手段を発光させずに得られた第１の画像データから得た第１の輝度信号の変化量と
前記撮像手段により前記発光手段を発光させて得られた第２の画像データから得た第２の輝度信号の変化量から
第１の画像データと第２の画像データのコントラストの変化量を求めるコントラスト変化量演算手段と、
前記コントラスト変化量演算手段の出力に基づいて正反射領域を抽出する第１の領域抽出手段と、
前記第１の画像データの輝度信号と前記第２の画像データの輝度信号と前記正反射領域とから調光領域を抽出する調光領域抽出手段と、
前記第１の画像データの輝度信号と前記第２の画像データの輝度信号と前記調光領域から本発光量を演算する本発光量演算手段と、
露出制御手段と、
画像合成時の重み係数を求める合成重み係数算出手段と、
前記本発光量で前記発光手段を発光させて前記撮像手段により得る第３の画像データと
前記露出制御手段により露出を変化させて、前記発光手段を発光させずに前記撮像手段により得る複数の画像データとを
前記合成重み係数算出手段により得られた合成重み係数に従い合成画像を生成する画像合成手段とを備え、
前記合成重み係数算出手段は、前記第３の画像データと前記発光手段を発光させずに得られた画像データから
前記第１の領域抽出手段により得られた正反射領域に基づいて、前記第３の画像データの合成比率を決定することを特徴とする。
【発明の効果】
【０００９】
本発明に係るカメラシステムによれば、昨今のデジタルカメラに一般的に搭載されている演算回路を用いた簡易な演算によりストロボ撮影時のストロボ光の正反射写り込みの影響領域を検出することができ、その領域を除外して主被写体を適正に照らす本発光量演算ができ、且つ高ダイナミックレンジ画像合成により撮影画像にストロボ光の正反射が撮影画像に写り込むことを防ぐことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るカメラシステム全体の構成を示す図である。
【図２】本発明の一実施形態に係るカメラシステムの構成を示すブロック図である。
【図３】本発明の一実施形態に係るカメラシステムの動作を示すフローチャート図である。
【図４】本発明の一実施形態に係るカメラシステムの動作を示すブロック図である。
【図５】本発明の一実施形態に係るカメラシステムの動作を示すブロック図である。
【図６】本発明の一実施形態に係るカメラシステムの動作を示すブロック図である。
【図７】本発明の一実施形態に係るカメラシステムの動作を示すフローチャート図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の好適な実施形態を説明する。
【実施例１】
【００１２】
図１に、本発明の撮像装置の一例としてのデジタルカメラの外観図を示す。
【００１３】
表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モードダイアル６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブルとデジタルカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラーホイール７３は操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体は２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。
【００１４】
図２は本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【００１５】
図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。ストロボ９０は、撮影時に発光させることにより低照度シーンでの撮影や逆光シーンでの撮影時に照度を補うことができる。
【００１６】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボ調光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１７】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１８】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。
【００１９】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２０】
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００２１】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００２２】
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００２３】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ストロボ発光判断処理等の動作を開始する。
【００２４】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、シーンに応じてＥＦ（ストロボ調光）処理、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２５】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２６】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００２７】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００２８】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２９】
上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００３０】
顔検出機能について説明する。
【００３１】
システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【００３２】
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。
【００３３】
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
【００３４】
なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。
【００３５】
図３は本発明の開示する技術に係る撮影シーケンスを表すフローチャートである。
【００３６】
第１シャッタースイッチ６２がＯＮされることで実行される処理によりストロボ撮影判定がされたあと、第２シャッタースイッチ６４がＯＮされたあとのシステム制御部５０の処理フローを示している。
【００３７】
Ｓ１０１では、ストロボ調光用の露出制御を行う。撮像部２２を使用してストロボ調光を行うため、撮像部２２の出力特性が概リニアとなる受光量の範囲内でストロボ予備発光の受光ができる確率を高めるよう、適正露出よりもアンダーな露出を設定している。
【００３８】
Ｓ１０２ではストロボ９０を発光させず、撮像部２２により外光のみによる画像データを取得する。
【００３９】
Ｓ１０３ではストロボ９０を制御して所定発光量の予備発光させるとともに撮像部２２により露光を行い、予備発光の反射光を含む画像データを取得する。
【００４０】
Ｓ１０４では、本撮影時の本発光で適正輝度になるようにする調光領域を求める。ここで予備発光の正反射写り込み領域を検出してその領域を調光領域から除外するように調光領域を求めるが、詳細は後述する。
【００４１】
Ｓ１０５では、Ｓ１０２で得た外光露光画像データとＳ１０３で得た予備発光露光画像データそれぞれにおけるＳ１０４で求めた調光領域の輝度値から、本撮影時の本発光で調光領域が適正輝度となるような本発光量を演算する。具体的には、Ｓ１０２で得た外光露光画像の調光領域の輝度値をＤａｙＹ、Ｓ１０３で得た予備発光画像の調光領域の輝度値をＰｒｅＹ、静止画撮影時の目標輝度値をＲｅｆＹとしたとき、次の演算により求める。
【００４２】
【数１】
2017085432.tif 000003
【００４３】
ΔＥＦは所定発光量の予備発光を基準として何段の明るさで本発光を発光させれば調光領域を適正輝度にできるかを示す本発光量情報である。予備発光の発光量をＰｒｅＦとしたとき、本発光の発光量ＭａｉｎＦは、ＭａｉｎＦ＝ＰｒｅＦ×２ΔＥＦで表される。ΔＡｖ、ΔＴｖ、ΔＳｖは、予備発光時の露出値(ＡｖＰｒｅ、ＴｖＰｒｅ、ＳｖＰｒｅ)と本露光時の露出値(ＡｖＭａｉｎ、ＴｖＭａｉｎ、ＳｖＭａｉｎ)の差分を表している。即ち、ΔＡｖ＝ＡｖＭａｉｎ−ＡｖＰｒｅ、ΔＴｖ＝ＴｖＭａｉｎ−ＴｖＰｒｅ、ΔＳｖ＝ＳｖＭａｉｎ−ＳｖＰｒｅ、である。ストロボ９０は閃光発光するキセノン管でなくてもよく、ＬＥＤなどの発光部材により撮像部２２の露光時間中ずっと発光し続ける発光方式である場合は、本発光量を求める演算式は露光時間にも影響を受けるため、下記の演算となる。
【００４４】
【数２】
2017085432.tif 000004
【００４５】
Ｓ１０６からＳ１１３で、４枚の本撮影（電子シャッタにより撮像部２２の蓄積電荷をリセットして全画素で同時に露光を開始し、シャッター１０１により露光を遮断後に画像データ読み出しを実行する）の撮影制御を行う。本実施例では、ストロボ９０を発光させて撮影する第１の本撮影と、ストロボ９０を発光させずに露出を変化させて第２から第４までの３回の、合計４回の本撮影を連続的に実施する。
【００４６】
まずＳ１０６で、ストロボ９０を発光させて撮影する第１の本撮影用の露出値を実現する露出制御を行う。このとき使用する露出値は、先に数式の説明で示したＡｖＭａｉｎ、ＴｖＭａｉｎ、ＳｖＭａｉｎである。
【００４７】
続いてＳ１０７で、ストロボ９０をＳ１０５で求めた本発光量ΔＥＦに基づき発光させ、第１の本撮影を行う。
【００４８】
次に、Ｓ１０８で第２の本撮影用の露出値を実現する露出制御を行い、Ｓ１０９でストロボ９０を発光させずに第２の本撮影を行う。本実施形では、Ｓ１０８で設定する露出値は、Ｓ１０６で設定した露出値と同露出（ＡｖＭａｉｎ、ＴｖＭａｉｎ、ＳｖＭａｉｎ）である。この露出を「適」としている。
【００４９】
Ｓ１１０では、「適」よりもオーバー（得られる画像の輝度が高い）な露出を実現する露出制御を行い、Ｓ１１１でストロボ９０を発光させずに第３の本撮影を行う。
【００５０】
Ｓ１１２では、「適」よりもアンダー（得られる画像の輝度が低い）な露出を実現する露出制御を行い、Ｓ１１３でストロボ９０を発光させずに第４の本撮影を行う。
【００５１】
Ｓ１１４では、Ｓ１０７、Ｓ１０９、Ｓ１１１、Ｓ１１３で撮影した４枚の画像データからダイナミックレンジの広い画像データを合成するための合成重み（合成比率）を算出する。詳細は後述する。
【００５２】
Ｓ１１５では、Ｓ１１４で求めた合成重みに従い画像合成を行い、最終的な出力画像を生成する。
【００５３】
図４は図３のＳ１０４の調光領域演算を説明するブロック図である。
【００５４】
Ｂ１０１は、図３のＳ１０３で得た予備発光の反射光を含む画像データ、Ｂ１０２は図３のＳ１０２で得た外光のみによる画像データを表している。
【００５５】
Ｂ１０３、Ｂ１０４では両画像データから輝度信号を演算により求めている。Ｂ１０５ではＢ１０３、Ｂ１０４で求めた輝度信号の差を、Ｂ１０９では比を求めている。Ｂ１０６で両画像データの輝度差データの平均値を求め、Ｂ１０７ではそこに係数を掛けて輝度差データの閾値を求めている。
【００５６】
Ｂ１１０では両画像データの輝度比データの平均値を求め、Ｂ１１１ではそこに係数を掛けて輝度比データの閾値を求めている。Ｂ１０８では、輝度差データとＢ１０７で得た輝度差の閾値から輝度差が閾値以上の領域を求め、輝度比データとＢ１１１で得た輝度比の閾値から輝度比が閾値以上の領域を求め、輝度差と輝度比が共に閾値以上である領域を調光領域候補として求める。
【００５７】
Ｂ１１２は、Ｂ１０１の画像データの輝度信号の、位置変位に応じた変化量を求める微分演算を行う。具体的な処理方法としては、連続する画素の輝度信号を順次入力してハイパスフィルタ処理を施すことにより実現してもよく、それ以外の微分相当の演算を実現する別の処理方法を採用してもよい。Ｂ１１３も同様に、Ｂ１０２の画像データの輝度信号の位置変位に応じた変化量を求めている。Ｂ１１４で２つの画像の輝度信号の変化量の差分を演算し、Ｂ１１５の正反射領域抽出部に入力している。
【００５８】
輝度信号の変化量は、外光のみの画像とストロボ光が照射された画像を比較すると、透明なガラス面のようなものを透過して撮像されている被写体ではない“通常の”被写体の領域では、ストロボ光が照射された画像の方が大きいか、変化がないという結果になる。なぜなら、撮像部２２の各画素の、入力光量に応じた電流出力がリニアな領域にであれば、ストロボ光照射により入力光量が大きくなればそれに応じて電流出力も大きくなる方向にシフトし、被写体の境界部を除けば隣接する画素との差が小さくなることはないためである。
【００５９】
一方で、透明なガラス面のようなものを透過して撮影されている被写体では、ガラス面でのストロボ光の反射光が撮像部２２で露光され、ガラス面が被写体として画像データに反映されることになる。この場合、外光のみの画像ではガラス面を透過して撮像されていた被写体の輝度信号は、ガラス面が輝度信号として写り込むことによる輝度信号に埋もれ、Ｂ１１４で得る輝度信号の変化量は、外光のみの画像よりもストロボ光が照射された画像の方が小さいということになる。
【００６０】
Ｂ１１５ではこの現象に基づき、ノイズによる誤検出を防ぐためにある程度の面積の領域単位での判断を行い、ガラス面などの正反射領域を抽出する。またＢ１１５ではストロボ光が照射された画像の輝度値を判定し、撮像部２２の出力が飽和したいわゆる白飛び領域を正反射領域に含めてもよい。
【００６１】
Ｂ１１６では、Ｂ１０８で抽出した調光領域候補の領域から、Ｂ１１５で抽出した正反射領域を除外し、Ｂ１１７の調光領域を出力している。
【００６２】
図５は図３のＳ１１４の合成重み算出を説明するブロック図である。
【００６３】
Ｂ２０４は、図３のＳ１０９で撮影した「適」露出の画像データを表しており、Ｂ２０５ではその画像データの輝度信号を求めている。Ｂ２１２で、「適」露出の画像データの輝度信号に応じた画像合成重みを作成している。ここで作成するのは、図３のＳ１０９、Ｓ１１１、Ｓ１１３で撮影した３枚の非発光画像の合成重みである。「適」露出画像の低輝度領域はＳ１１１で撮影した「オーバー」露出画像の合成比重が大きくなり、「適」露出画像の高輝度領域はＳ１１３で撮影した「アンダー」露出画像の合成比重が大きくなるように重みデータを作成する。ブロック図中の図では「＋１」が「オーバー露出画像の合成重み」、「−１」が「アンダー露出画像の合成重み」を表している。ここでもノイズによる誤検出を防ぐため、ある程度の面積の領域単位での判断を行っている。
【００６４】
Ｂ２０１は、図３のＳ１０７で撮影したストロボ発光画像データを表しており、Ｂ２０２ではその画像データの輝度信号を求めている。Ｂ２０３ではＢ２０２で求めた輝度信号の位置変位に応じた変化量を求める微分演算を、図４のＢ１１２、Ｂ１１３と同様に行う。Ｂ２０６も同様に、Ｂ２０５で求めた輝度信号の位置変位での微分演算を行っている。Ｂ２０７は図４のＢ１１４と同様に２つの輝度信号の変化量の差分を演算し、Ｂ２０８の、図４のＢ１１５と同様の正反射領域抽出部に入力している。Ｂ２０９はＢ２０８で抽出された正反射領域を表している。Ｂ２１０は、図４のＢ１１７の調光領域である。Ｂ２１１ではＢ２１０の調光領域からＢ２０９の正反射領域を除いた領域を抽出している。
【００６５】
Ｂ２１３は、図３のＳ１０７で撮影したストロボ画像の輝度信号に合成重みを掛ける適用する演算部を示している。
【００６６】
Ｂ２１４は、図３のＳ１０９で撮影した「適」露出画像の輝度信号に合成重みを掛ける適用する演算部を示している。
【００６７】
Ｂ２１５は、図３のＳ１１１で撮影した「オーバー」画像の輝度信号に合成重みを掛ける適用する演算部を示している。
【００６８】
Ｂ２１６は、図３のＳ１１３で撮影した「アンダー」画像の輝度信号に合成重みを掛ける適用する演算部を示している。
【００６９】
Ｂ２１４、Ｂ２１５、Ｂ２１６には、Ｂ２１２の出力である「適画像の合成重み」「オーバー露出画像の合成重み」「アンダー露出画像の合成重み」画像合成重みがそれぞれ入力される。
【００７０】
一方で、Ｂ２１１出力として抽出された領域ではストロボ画像重みを１乃至１に近い値にしてＢ２１３の演算部に入力し、それ以外の領域ではストロボ画像重みを０乃至０に近い値にしてＢ２１３の演算部に入力する。
【００７１】
一方でＢ２１４、Ｂ２１５の演算部には、１からＢ２１３に入力した値を引いた値を、Ｂ２１２から入力される重みに掛け合わせる形で入力する。画像合成重みを画像内の領域に応じて「１乃至１に近い値」、「０乃至０に近い値」に設定するのは、画像合成重みが１の領域と０の領域が隣接した場合に境界部分が不自然になることを防ぐため、１と０の領域を滑らかに繋ぐように１と０の中間値を存在させているものである。例えば、Ｂ３１１で求まった領域の境界部でストロボ画像重みが隣接する６画素で｛１、１、１、０、０、０｝となるとき、｛１、０．９５、０．９、０．１、０．０５、０｝のように設定している。
【００７２】
これらの処理により、図４のＢ１１７（Ｂ２１０）で調光領域としてストロボ画像（図３のＳ１０７）で適正輝度となるように調光され、且つＢ２０９で求められたストロボ光の正反射領域ではない領域ではストロボ画像の合成比重が１乃至１に近い値となり、それ以外の領域では３枚の非発光画像によりダイナミックレンジを広めるような合成比重が生成される。
【００７３】
図６は図３のＳ１１４（図５）の合成重み算出部で求められた合成重みに従って行う合成処理を簡易的に表したブロック図である。
【００７４】
Ｂ３０１からＢ３１６までは図５のＢ２０１からＢ２１６までと同じブロックを表している。図３のＳ１１１で撮影した画像データをＢ３１７、図３のＳ１１３で撮影した画像データをＢ３１９で表している。Ｂ３１８、Ｂ３２０は共に輝度信号演算部であるが、後段の画像合成に備えて適切なガンマ処理を適用している。Ｂ３０２、Ｂ３１８、Ｂ３０５、Ｂ３２０でそれぞれ求めた輝度信号に合成重みを掛け、Ｂ３２１で重合してＢ３２２の最終画像輝度信号を出力する。
【００７５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００７６】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【実施例２】
【００７７】
基本的な構成、撮影処理等は実施例１に記載のシステムと同じである。本発明に係る発光シーケンス部分が異なるため、その部分のみを記述する。
【００７８】
図７は本発明の開示する技術に係る撮影シーケンスを表すフローチャートである。
【００７９】
Ｓ２０１からＳ２０４は、図３のＳ１０１からＳ１０４と同じである。
【００８０】
Ｓ２１６では、Ｓ２０４の調光領域演算のうちの図４のＢ１１５による正反射領域抽出で抽出された正反射領域の面積が所定値以上であるかを判定している。正反射領域の面積が所定値以下である場合はＳ２１７に進む。
【００８１】
Ｓ２１７では、Ｓ２０４の調光領域演算のうちの図４のＢ１０８で求めた“調光領域候補の領域”を全画像領域から除いた“背景領域”を適正とする露出を「適」とするよう露出演算する。またＳ２１０、Ｓ２１２で使用する「オーバー露出」、「アンダー露出」も新たに求めた「適」を基準にして求める。
【００８２】
Ｓ２０５ではＳ２１７で求めた「適」の露出値で適正となるような本発光量演算を行い、Ｓ２０６、Ｓ２０７でＳ１０６、Ｓ１０７と同様のストロボ撮影を行う。Ｓ２０８以下のフローはＳ１０８以下と同様に実施する。Ｓ２１６で、正反射領域の面積が所定値以上である場合は、Ｓ２１８に進む。Ｓ２１８では、Ｓ２０４の調光領域演算で求めたＢ１１７の調光領域を「適」とするよう露出演算する。またＳ２１０、Ｓ２１２で使用する「オーバー露出」、「アンダー露出」も新たに求めた「適」を基準にして求める。
【００８３】
Ｓ２０８以降のフローは実施例１図３のＳ１０８以降と同様である。但しＳ２１４の合成重み算出の処理では、Ｂ２１１の出力は全て０、即ちストロボ非発光画像３枚により画像合成が完結するように合成重みを算出する。
【符号の説明】
【００８４】
２８  表示部、６０  モードダイアル、６１  シャッターボタン
【図１】
2017085432.tif 000005
【図２】
2017085432.tif 000006
【図３】
2017085432.tif 000007
【図４】
2017085432.tif 000008
【図５】
2017085432.tif 000009
【図６】
2017085432.tif 000010
【図７】
2017085432.tif 000011