(57)【特許請求の範囲】
【請求項１】
露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する合成制御部と、
上記合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する合成処理部と、を有し、
上記複数の画像信号には、
適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、
上記合成制御部は、
上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、
上記合成ゲインを決定する際に、
露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、
上記標準画像信号から上記置き換え閾値レベルの領域を分割し、
上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、
上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する
画像合成装置。
【請求項２】
上記合成制御部は、
上記標準画像信号から分割した上記置き換え閾値レベルおよびその誤差を含む領域、並びに予測画像信号比から予測誤差以内の領域に含まれている範囲を合成ゲイン算出に用いる領域とする
請求項１記載の画像合成装置。
【請求項３】
上記合成制御部は、
上記標準画像信号から分割した上記置き換え閾値レベルＴおよびその誤差ＴＨＡを含む領域（Ｔ±ＴＨＡ）、並びに予測画像信号比Ｇｐから予測誤差ＴＨＢ以内の領域（Ｇｐ±ＴＨＢ）を参照し、
分割した領域（Ｔ±ＴＨＡ）、並びに、非標準画像信号において（Ｔ±ＴＨＡ）／（Ｇｐ±ＴＨＢ）に含まれている範囲を合成ゲイン算出に用いる領域とする
請求項１記載の画像合成装置。
【請求項４】
露光時間の異なる複数の画像を連続して撮影する撮像部と、
上記撮像部で撮影された複数の画像を合成する画像合成部と、を有し、
上記画像合成部は、
露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する合成制御部と、
上記合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する合成処理部と、を有し、
上記複数の画像信号には、
適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、
上記合成制御部は、
上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、
上記合成ゲインを決定する際に、
露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、
上記標準画像信号から上記置き換え閾値レベルの領域を分割し、
上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、
上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する
撮像装置。
【請求項５】
上記合成制御部は、
上記標準画像信号から分割した上記置き換え閾値レベルおよびその誤差を含む領域、並びに予測画像信号比から予測誤差以内の領域に含まれている範囲を合成ゲイン算出に用いる領域とする
請求項４記載の撮像装置。
【請求項６】
上記合成制御部は、
上記標準画像信号から分割した上記置き換え閾値レベルＴおよびその誤差ＴＨＡを含む領域（Ｔ±ＴＨＡ）、並びに予測画像信号比Ｇｐから予測誤差ＴＨＢ以内の領域（Ｇｐ±ＴＨＢ）を参照し、
分割した領域（Ｔ±ＴＨＡ）、並びに、非標準画像信号において（Ｔ±ＴＨＡ）／（Ｇｐ±ＴＨＢ）に含まれている範囲を合成ゲイン算出に用いる領域とする
請求項４記載の撮像装置。
【請求項７】
露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する第１ステップと、
合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する第２ステップと、を有し、
上記複数の画像信号には、
適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、
上記第１ステップにおいて、
上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、
上記合成ゲインを決定する際に、
露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、
上記標準画像信号から上記置き換え閾値レベルの領域を分割し、
上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、
上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する
画像合成方法。
【請求項８】
露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する第１処理と、
合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する第２処理と、を有し、
上記複数の画像信号には、
適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、
上記第１処理において、
上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、
上記合成ゲインを決定する際に、
露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、
上記標準画像信号から上記置き換え閾値レベルの領域を分割し、
上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、
上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する
画像合成処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影条件の異なる複数の画像を合成する画像合成装置、撮像装置、画像合成方法、およびプログラムに関するものである。
【背景技術】
【０００２】
逆光のシーンや明暗の輝度差が大きいシーンを撮影する際には、被写体の照度に露光時間を合わせた標準画像だけでは白潰れや黒潰れが生じる。
【０００３】
そこで、露光時間の異なる非標準画像を複数枚撮影し、標準画像で明るすぎる領域や暗すぎる領域を非標準画像に合成ゲインをかけた画像に置き換えることによってダイナミックレンジの拡大を行い、出力ビットに合わせて圧縮が行われる。
【０００４】
この場合、合成ゲインによって標準画像と非標準画像を結合させるため、不適切な合成ゲインでは接続境界において擬似輪郭が生じる。
【０００５】
そこで、特許文献１に開示されているように、非標準画像に乗算する合成ゲインを長短置き換え輝度レベルの画素における二つの画像信号の比によって求めることによって、入射光強度の違いによる光電変換効率の違い等を無視できる。
【特許文献１】特開平７−１３１７０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、逆光のシーンなどでスミアが発生していた場合、不適切な合成ゲインが算出されるため擬似輪郭が生じる（図１）。
【０００７】
また、動被写体を撮影した場合、複数の画像において同じ画素位置の信号が同じ被写体によるものとは限らない。
この場合、不適切な画像信号の比が得られるため、不適切な合成ゲインが算出され擬似輪郭の原因となる。
【０００８】
本発明は、スミアや動被写体等の影響による擬似輪郭の発生を抑止することが可能な画像合成装置、撮像装置、画像合成方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の画像合成装置は、露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する合成制御部と、上記合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する合成処理部と、を有し、上記複数の画像信号には、適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、上記合成制御部は、上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、上記合成ゲインを決定する際に、露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、上記標準画像信号から上記置き換え閾値レベルの領域を分割し、上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する。
【００１０】
本発明の第２の観点の撮像装置は、露光時間の異なる複数の画像を連続して撮影する撮像部と、上記撮像部で撮影された複数の画像を合成する画像合成部と、を有し、上記画像合成部は、露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する合成制御部と、上記合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する合成処理部と、を有し、上記複数の画像信号には、適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、上記合成制御部は、上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、上記合成ゲインを決定する際に、露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、上記標準画像信号から上記置き換え閾値レベルの領域を分割し、上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する。
【００１１】
好適には、上記合成制御部は、上記標準画像信号から分割した上記置き換え閾値レベルおよびその誤差を含む領域、並びに予測画像信号比から予測誤差以内の領域に含まれている範囲を合成ゲイン算出に用いる領域とする。
【００１２】
好適には、上記合成制御部は、上記標準画像信号から分割した上記置き換え閾値レベルＴおよびその誤差ＴＨＡを含む領域（Ｔ±ＴＨＡ）、並び予測画像信号比Ｇｐから予測誤差ＴＨＢ以内の領域（Ｇｐ±ＴＨＢ）を参照し、分割した領域（Ｔ±ＴＨＡ）、並びに、非標準画像信号において（Ｔ±ＴＨＡ）／（Ｇｐ±ＴＨＢ）に含まれている範囲を合成ゲイン算出に用いる領域とする。
【００１３】
本発明の第３の観点の画像合成方法は、露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する第１ステップと、合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する第２ステップと、を有し、上記複数の画像信号には、適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、上記第１ステップにおいて、上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、上記合成ゲインを決定する際に、露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、上記標準画像信号から上記置き換え閾値レベルの領域を分割し、上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する。
【００１４】
本発明の第４の観点は、露光時間の異なる複数の画像信号から画像合成のための合成ゲインおよび置き換えの閾値レベルを決定する第１処理と、合成制御部で決定された合成ゲインおよび置き換えの閾値レベルを用いて複数の画像信号を合成する第２処理と、を有し、上記複数の画像信号には、適正露光で撮影された標準画像信号と非適正露光で撮影された非標準画像信号を含み、上記第１処理において、上記標準画像信号と上記非標準画像信号、並びに上記決定した置き換え閾値レベルを参照して当該置き換え閾値レベルにおける合成ゲインを決定し、上記合成ゲインを決定する際に、露光時間の比から上記置き換え閾値レベルにおける上記標準画像信号と上記非標準画像信号との予測画像信号比を予測し、上記標準画像信号から上記置き換え閾値レベルの領域を分割し、上記予測した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外し、かつ、適正露光画像において置き換えの閾値の信号レベルから予測誤差以外の信号レベルを持つ画素位置の領域を合成ゲイン決定対象から除外し、上記分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照して予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する画像合成処理をコンピュータに実行させるプログラムである。
【００１５】
本発明によれば、画像制御部において、露光時間の異なる複数の画像信号から合成ゲインを決定する際に、予め適切な予測画像信号比が決定される。そして、画像制御部においては、予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域が合成ゲイン決定対象から除外される。
【発明の効果】
【００１６】
本発明によれば、スミアの影響による擬似輪郭の発生を抑止することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を図面に関連付けて説明する。
【００１８】
図２は、本発明の実施形態に係る画像合成装置を適用した撮像装置の構成例を示す図である。
【００１９】
本実施形態に係る画像合成装置では、露光時間の異なる複数の画像信号から合成ゲインを決定する際に、予め適切な予測画像信号比を決定する。
そして、画像合成装置は、予測画像信号比を参照して合成ゲイン決定部に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定部から除外することで、擬似輪郭の発生を抑えるように構成されている。
【００２０】
本撮像装置１０は、撮像部２０および画像合成部３０を有している。
【００２１】
撮像部２０は、レンズ２１、光学ローパスフィルタ２２、撮像素子２３、撮像素子制御部２４、およびアナログ・デジタル（Ａ／Ｄ）変換器２５を有する。
【００２２】
画像合成部３０は、メモリ３１、合成制御部３２、合成処理部３３、および圧縮部３４を有する。
【００２３】
なお、ここではメモリを画像合成部３０の構成要素としているが、画像合成部３０からアクセス可能であればよく、撮像部２０側に配置してもよいし、撮像部２０と画像合成部３０との間に配置するように構成することも可能である。
【００２４】
撮像部２０において、被写体像はレンズ２１により光学ローパスフィルタ２２を通って撮像素子２３の撮像面に投影される。
撮像素子２３は、ＣＣＤやＣＭＯＳセンサにより構成される。
【００２５】
撮像素子制御部２４は、一回の撮影動作時に露光量の異なる複数枚の画像を撮影するように撮像素子２１を制御するように構成されている。
本実施形態では、適正露光で撮影された白潰れのある標準画像信号と、短時間で撮影された黒潰れのある非標準画像信号の２枚の画像信号を撮影する。
撮影された画像信号はそれぞれＡ／Ｄ変換器２５にてデジタル信号に変換されメモリ３１に記録される。
【００２６】
合成制御部３２は、メモリ３１に記録された画像信号を参照しながら、画像合成のための合成ゲインＧおよび置き換え閾値レベルＴを決定する。
この合成制御部３２の合成ゲインＧおよび置き換え閾値レベルＴを決定する具体的な処理については、後で詳述する。
合成制御部３２は、決定した合成ゲインＧおよび置き換え閾値レベルＴを合成処理部３３に供給する。
【００２７】
合成処理部３３は、合成制御部３２により供給された合成ゲインＧおよび置き換え閾値レベルＴを用いてメモリ３１に記録されている、標準画像信号ＳＩＭと非標準画像信号ＮＳＩＭとを合成する。
合成処理部３３は、合成した画像を圧縮部３４に出力する。
【００２８】
圧縮部３４は、合成処理部３３で合成された画像に対して圧縮処理を施し、出力する。
【００２９】
次に、合成制御部３２の構成および機能についてさらに詳細に説明する。
【００３０】
図３は、本実施形態に係る合成制御部３２の構成例を示すブロック図である。
【００３１】
合成制御部３２は、上述したように、合成処理部３３にて参照される長短置き換え閾値レベルＴと合成ゲインＧの決定機能を有している。
【００３２】
合成制御部３２は、図３に示すように、閾値決定部３２１とゲイン決定部３２２により構成される。
【００３３】
閾値決定部３２１は、標準画像信号ＳＩＭと非標準画像信号ＮＳＩＭをメモリ３１から読み出して参照し、長短置き換えの閾値レベルＴを決定する。
閾値決定部３２１は、決定した長短置き換えの閾値レベルＴをゲイン決定部３２２および合成処理部３３に供給する。
【００３４】
なお、長短置き換え閾値レベルＴの決定は、画像信号に関わらず一定としても良いし、画像信号のヒストグラムより決定しても良い。
【００３５】
ゲイン決定部３２２は、メモリ３１から読み出して参照した標準画像信号ＳＩＭと非標準画像信号ＮＳＩＭに加え、閾値決定部３２１から供給された長短置き換え閾値レベルＴを参照して長短置き換え閾値レベルＴにおける合成ゲインＧを決定し、合成処理部３３に供給する。
【００３６】
図４は、本実施形態に係るゲイン決定部３２２によるスミア等の影響を受けないゲイン決定手順について説明するためのフローチャートである。
【００３７】
次に、ゲイン決定部３２２によるスミア等の影響を受けないゲイン決定手順について図４のフローチャートに関連付けて説明する。
【００３８】
＜ステップＳＴ１０＞
ステップＳＴ１０において、ゲイン決定部３２２はメモリ３１から標準画像信号と非標準画像信号の読み込みを行い、ステップＳＴ１４の加算処理において用いるsum1とsum2の初期化を行う。
【００３９】
＜ステップＳＴ１１＞
ステップＳＴ１１において、ゲイン決定部３２２は、長短置き換え閾値レベルＴにおける標準画像信号と非標準画像信号の予測画像信号比ＧPの予測を行う。
【００４０】
予測画像信号比ＧPの具体的な予測方法としては、たとえば標準画像ＳＩＭと非標準画像信号ＮＳＩＭの露光時間を引数とするルックアップテーブル（ＬＵＴ）より予測画像信号比ＧPを算出する。
ＬＵＴはスミアの発生していない参照画像（複数枚）から画像信号比の平均を算出して作成する。
【００４１】
また、たとえば、動画のような連続フレーム処理であれば前フレームの合成ゲインＧを参照しても良いし、入射光の強度差と光電変換効率の特性から予測画像信号比ＧPを推定しても良い。
このとき予測画像信号比ＧPの予測誤差ＴＨBも決定する。
【００４２】
＜ステップＳＴ１２＞
ステップＳＴ１２において、ゲイン決定部３２２は、閾値決定部３２１で決定された長短置き換え閾値レベルＴを参照し、標準画像信号から長短置き換え閾値レベルＴの領域を分割する。
分割された領域が許容値より小さい場合、長短置き換え閾値レベルＴ±ＴＨAの領域を分割する。
【００４３】
ここでＴＨAは画像信号に関わらず一定としても良いし、分割される領域が許容値を越えるまでＴＨAの値を増やしても良い。
【００４４】
＜ステップＳＴ１３＞
ステップＳＴ１３において、ゲイン決定部３２２は、ステップＳＴ１２で分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照し、各信号レベルの比から画像信号比を算出する。
算出された画像信号比がステップＳＴ１１において予測された予測画像信号比ＧPの予測誤差ＴＨBの範囲内に含まれている場合はステップＳＴ１４へ、含まれていない場合はステップＳＴ１５へ進む。
【００４５】
または、ステップＳＴ１２で分割された領域の画素位置に対応する非標準画像信号を参照し、ステップＳＴ１１にて予測された画像信号比ＧPと予測誤差ＴＨBの範囲に対応する非標準画像信号の範囲内に含まれているかで判定しても良い。
【００４６】
図５および図６にステップＳＴ１２からステップＳＴ１３までの概念的図例を示す。
図５は、標準画像ＳＩＭと非標準画像信号ＮＳＩＭとの対応関係を概念的に示す図である。
図６は、分割された領域における画像信号比のヒストグラムの例を示す図である。
【００４７】
本実施形態においては、適正露光画像において置き換えの閾値Ｔの信号レベルから±ＴＨAに当てはまる信号レベルを持つ画素の信号レベルの比を算出する。
図６に示すように、露光時間の比から経験的に予測画像信号比ＧPを予測し、予測された予測画像信号比ＧPから±ＴＨB以内の信号比を用いて合成ゲインを算出する。
【００４８】
スミアによって画像信号比は本来とは大きく異なる値を取るため、スミアの影響を受けた画像信号比は除外され、スミアを含むシーンであってもスミアの影響による擬似輪郭を生じずに広ダイナミックレンジを実現できる。
また、スミア以外の動被写体やノイズの影響等も同様に無視することができる。
【００４９】
図７は、ステップＳＴ１２、ＳＴ１３における合成ゲイン算出までの流れの第１の具体例を示す図である。
【００５０】
この例においては、図７に示すように、ステップＳＴ１２において長短置き換え閾値レベルＴ±ＴＨAの領域を分割する。
ステップＳＴ１３において、予測画像信号比ＧP±ＴＨBの範囲内に入っているか否かを判定する。
両方の領域に含まれている範囲が合成ゲイン算出に用いられる領域になる。
【００５１】
図８は、ステップＳＴ１２、ＳＴ１３における合成ゲイン算出までの流れの第２の具体例を示す図である。
【００５２】
この例においては、図８に示すように、ステップＳＴ１２において長短置き換え閾値レベルＴ±ＴＨAの領域を分割する。
ステップＳＴ１３において非標準画像で(Ｔ±ＴＨA)/(ＧP±ＴＨB)の範囲内に入っているか否かを判定する。
そして、両方の領域に含まれている範囲が合成ゲイン算出に用いられる領域になる。
【００５３】
＜ステップＳＴ１４＞
ステップＳＴ１４において、ゲイン決定部３２２は、ステップＳＴ１３で参照した画素位置の標準画像信号レベルをsum1に、非標準画像信号レベルをsum2に加算し、ステップＳＴ１５に進む。
または、ステップＳＴ１３で参照した画素位置の標準画像信号と非標準画像信号の比を加算し、加算回数を記憶しても良い。
【００５４】
＜ステップＳＴ１５＞
ステップＳＴ１５において、ゲイン決定部３２２は、ステップＳＴ１２で分割された領域内の画素位置に対してステップＳＴ１３の処理を行ったか否かを判定する。
全ての画素位置においてステップＳＴ１３の処理を行っている場合はステップＳＴ１６へ進み、完了していない場合は未処理の画素位置においてステップＳＴ１３に進む。
【００５５】
＜ステップＳＴ１６＞
ステップＳＴ１６においては、ゲイン決定部３２２は、合成処理部３３に供給する合成ゲインＧを決定する。
合成ゲインＧはステップＳＴ１４で加算したsum1とsum2の比よりゲイン決定部３２２が決定する。
【００５６】
次に、図２の構成における動作を説明する。
【００５７】
撮像部２０において、被写体像はレンズ２１により光学ローパスフィルタ２２を通って撮像素子２３の撮像面に投影される。
撮像素子２３は、ＣＣＤやＣＭＯＳセンサにより構成される。
【００５８】
撮像素子制御部２４は、一回の撮影動作時に露光量の異なる複数枚の画像を撮影するように撮像素子２１を制御するように構成されている。
本実施形態では、適正露光で撮影された白潰れのある標準画像信号と、短時間で撮影された黒潰れのある非標準画像信号の２枚の画像信号を撮影する。
撮影された画像信号はそれぞれＡ／Ｄ変換器２５にてデジタル信号に変換されメモリ３１に記録される。
次に、合成制御部３２ではメモリ３１の情報を参照しながら、合成ゲインＧおよび置き換え閾値レベルＴが決定される。
次に、これらの値を用いて標準画像信号と非標準画像信号は、合成処理部３３で合成され、圧縮部３４で圧縮され出力される。
【００５９】
以上説明したように、本実施形態によれば、適正露光画像において置き換えの閾値Ｔの信号レベルから±ＴＨAに当てはまる信号レベルを持つ画素の信号レベルの比を算出する。
露光時間の比から経験的に予測画像信号比ＧPを予測し、予測された予測画像信号比ＧPから±ＴＨB以内の信号比を用いて合成ゲインを算出する。
【００６０】
これにより、スミアによって画像信号比は本来とは大きく異なる値を取るため、スミアの影響を受けた画像信号比は除外され、スミアを含むシーンであってもスミアの影響による擬似輪郭を生じずに広ダイナミックレンジを実現できる。
また、スミア以外の動被写体やノイズの影響も同様に無視することができる。
【００６１】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【００６２】
【図１】スミア発生による擬似輪郭発生の説明図である。
【図２】本発明の実施形態に係る画像合成装置を適用した撮像装置の構成例を示す図である。
【図３】本実施形態に係る合成制御部の構成例を示すブロック図である。
【図４】本実施形態に係るゲイン決定部によるスミア等の影響を受けないゲイン決定手順について説明するためのフローチャートである。
【図５】標準画像と非標準画像の対応関係を概念的に示す図である。
【図６】分割された領域における画像信号比のヒストグラムの例を示す図である。
【図７】図４のステップＳＴ１２、ＳＴ１３における合成ゲイン算出までの流れの第１の具体例を示す図である。
【図８】図４のステップＳＴ１２、ＳＴ１３における合成ゲイン算出までの流れの第２の具体例を示す図である。
【符号の説明】
【００６３】
１０・・・撮像装置、２０・・・撮像部、２１・・・レンズ、２２・・・光学ローパスフィルタ、２３・・・撮像素子、２４・・・撮像素子制御部、２５・・・アナログ・デジタル（Ａ／Ｄ）変換器、３０・・・画像合成部、３１・・・メモリ、３２・・・合成制御部、３３・・・合成処理部、３４・・・圧縮部。
【図１】
0005286927.tif 000002
【図２】
0005286927.tif 000003
【図３】
0005286927.tif 000004
【図４】
0005286927.tif 000005
【図５】
0005286927.tif 000006
【図６】
0005286927.tif 000007
【図７】
0005286927.tif 000008
【図８】
0005286927.tif 000009