(57)【特許請求の範囲】
【請求項１】
所定の第１の露光で撮影された第１の画像の信号レベルのヒストグラムを求めるヒストグラム処理手段と、
上記ヒストグラム処理手段で求められたヒストグラムに基づいてダイナミックレンジの拡大を行うか否かを判定するダイナミックレンジ拡大判定手段と、
上記ダイナミックレンジ拡大判定手段の判定結果に応じて上記第１の露光とは異なる第２の露光で撮影される第２の画像を撮影するための撮影条件のパラメータを決定するパラメータ決定手段と、
上記パラメータ決定手段で決定されたパラメータにより撮影された第２の画像と上記第１の画像とを合成して１枚の広ダイナミックレンジ画像を得る画像合成手段とを備え、
上記パラメータ決定手段による上記第２の画像の撮影パラメータをユーザが設定するようにした画像合成装置。
【請求項２】
上記ダイナミックレンジ拡大判定手段がダイナミックレンジの拡大を行うと判定したときは、上記パラメータ決定手段がパラメータを決定し、上記画像合成手段が画像合成処理を行うようにした請求項１記載の画像合成装置。
【請求項３】
上記ダイナミックレンジ拡大判定手段がダイナミックレンジの拡大を行わないと判定したときは、上記パラメータ決定手段はパラメータの決定を行わず、上記画像合成手段は上記第１の画像を出力するようにした請求項１記載の画像合成装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、カメラで撮影した複数の画像データを合成して１枚の広ダイナミックレンジ画像を得るための画像合成装置に関する。
【０００２】
【従来の技術】
ビデオカメラ、スチルビデオカメラは撮像した被写体像を表わす映像信号を発生するＣＣＤ等の固体電子撮像素子を有している。固体電子撮像素子のダイナミックレンジは狭く、視野内に含まれる明るい部分と暗い部分との輝度差が大きいときは、両方の部分を適正露光で撮影することは困難である。例えば暗い部分に露光を合わせれば明るい部分は白くとび、明るい部分に露光を合わせれば暗い部分は黒くつぶれてしまう。
【０００３】
このような問題を解決するために例えば特開平５−６４０７５号公報「ビデオ・カメラ、それを用いた撮影方法及びその動作方法、ならびに画像処理装置及び方法」に示されるように、被写体の暗い領域が適正に露光されている第１の画像と被写体の明るい領域が適正に露光されている第２の画像とを撮影し、第１の画像中より明るい領域に属する画像データを第２の画像データで置き換えて合成画像を作成し、明るい領域と暗い領域との輝度差の大きい被写体について適切な画像を得られるようにするダイナミックレンジ拡大用カメラが提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら上記のダイナミックレンジ拡大用カメラにおいては、被写体の暗い領域が適正に露光される第１の画像と、明るい領域が適正に露光される第２の画像との２つの画像の撮影を常に必らず行うため、ユーザが特にダイナミックレンジの拡大を必要としない場合は、被写体全体に対して適正な露光となる画像を再び撮影し直さなければならず、このため手間がかかると共に撮影時間が長くなり、また場合によってはシャッタチャンスを逃がしてしまうといった問題があった。
【０００５】
本発明は上記のような問題を解決するためになされたもので、ダイナミックレンジの拡大を行う必要があるか否かを自動的に判定して撮影を効率的に行うことのできる画像合成装置を得ることを目的としている。
【０００６】
【課題を解決するための手段】
本発明の画像合成装置は、所定の第１の露光で撮影された第１の画像の信号レベルのヒストグラムを求めるヒストグラム処理手段と、上記ヒストグラム処理手段で求められたヒストグラムに基づいてダイナミックレンジの拡大を行うか否かを判定するダイナミックレンジ拡大判定手段と、上記ダイナミックレンジ拡大判定手段の判定結果に応じて上記第１の露光とは異なる第２の露光で撮影される第２の画像を撮影するための撮影条件のパラメータを決定するパラメータ決定手段と、上記パラメータ決定手段で決定されたパラメータにより撮影された第２の画像と上記第１の画像とを合成して１枚の広ダイナミックレンジ画像を得る画像合成手段とを備え、上記パラメータ決定手段による上記第２の画像の撮影パラメータをユーザが設定するようにしたことを特徴とする。
【０００７】
【作用】
本発明によれば、第１の画像の信号レベルのヒストグラムを用いてダイナミックレンジの拡大が必要であるか否かを判断し、ダイナミックレンジを拡大する必要がなければ第１の画像を出力する。またダイナミックレンジの拡大が必要であれば、ヒストグラムに基づいて、被写体の明るい領域が適正に露光されている第２の画像を撮影するか、被写体の暗い領域が適正に露光されている第２の画像を撮影するか、両方の第２の画像を撮影するかを判断して第２の画像を撮影し、得られた第２の画像と第１の画像との合成により輝度差の大きい被写体について適切な画像を得ることができる。
【０００８】
【実施例】
以下に本発明の第１の実施例について説明する。図１は本発明の第１の実施例を示す撮像装置のブロック図である。次にデータの流れ及び動作について説明する。
被写体像はレンズ１、光学的なローパスフィルタ２、絞り３を通過し、ＣＣＤ４の撮像面上に結像される。絞り３とＣＣＤ４の露光時間（電子シャッタ速度）とは適正露光になるように撮像素子制御部１１により制御されている。ＣＣＤ４上に結像された第１の露光で撮影された第１の画像としての上記適正露光による標準画像はＡ／Ｄ変換器５により画像データに変換され、メモリ７に記憶される。次にヒストグラム処理部８により図２に示されるような上記記憶された標準画像の信号レベルのヒストグラムが求められる。
【０００９】
次に求められたヒストグラムに基づいてダイナミックレンジ拡大判定部９においてダイナミックレンジの拡大を行うか否かの判定が行なわれる。この判定は図２に示される画像信号レベルのそれぞれある範囲を有するＡとＢの部分のデータ頻度とあらかじめ設定された頻度の閾値ＴA とＴB とにより決定される。例えば画像中のＡ、Ｂの範囲の頻度をそれぞれＨA 、ＨB とした場合、次の式１を満たした場合はダイナミックレンジの拡大を行わない。
ＨA ＜ＴA 及びＨB ＜ＴB ………（１）
【００１０】
次にダイナミックレンジ拡大判定部９により、ダイナミックレンジの拡大を行わない判定が下されればメモリ７に記憶されている標準画像が読み出され合成部１２を通じてそのまま出力される。またダイナミックレンジの拡大を行う判定が下された場合は、ヒストグラム処理部８で求められたヒストグラムを基に第２の露光で撮影される第２の画像としての非標準画像撮影のための条件を示すパラメータ、即ち絞り値及び電子シャッタ速度がパラメータ決定部１０により求められる。
【００１１】
本実施例においては説明を簡単にするために、パラメータのうち絞り値は標準画像を撮影した値と同じにし、電子シャッタ速度を変化させて非標準画像を得る場合について述べる。例えば図２を用いて説明すると、ダイナミックレンジ拡大を行う条件として次のように分けることができる。
ＨA ＜ＴA 及びＨB ＞ＴB ……（２）
ＨA ＞ＴA 及びＨB ＜ＴB ……（３）
ＨA ＞ＴA 及びＨB ＞ＴB ……（４）
ＨA ＞ＨB 又はＨA ＜ＨB ……（５）
【００１２】
例えばここで式２を満たしていれば、標準画像中に明るい部分の面積が多いことが判る。そこで明るい部分が適正露光となるように、即ち標準画像を撮影した時より露光時間が短くなるように非標準画像撮影のための電子シャッタ速度を決定する。また同様に式３を満たしていれば、暗い部分が適正露光となるように、即ち露光時間が長くなるように非標準画像撮影のための電子シャッタ速度を決定する。表１は本実施例における電子シャッタ速度値を示す。ただし表中の数値は非標準画像を撮影するための標準画像に対する電子シャッタ速度である。
【００１３】
【表１】
0003639627.tif 000002
【００１４】
また式４を満たしている場合、ＨA 、ＨB のいずれかの値の大きい方を基に電子シャッタ速度を決定する。例えば１≦ＳA ＜２、２≦ＳB ＜３であれば非標準画像撮影のための電子シャッタ速度は標準画像撮影時の電子シャッタ速度の１／４となる。
【００１５】
以上に示した方法は非標準画像を１枚撮影し、標準画像と合成する場合の例であったが、複数の非標準画像を撮影する場合は、例えば１≦ＳA ＜２、２≦ＳB ＜３であったとすると、第１の非標準画像の電子シャッタ速度は２倍、第２の非標準画像は１／４倍となる。
【００１６】
次に非標準画像を撮影するための絞り値と上記で求めた電子シャッタ速度とは撮像素子制御部１１に送られ、絞り３とＣＣＤ４の電子シャッタとを制御し、非標準画像が撮影される。次にＡ／Ｄ変換された非標準画像はメモリ６に記憶され、メモリ７に記憶されている標準画像データとともに合成部１２に送られて合成され、ダイナミックレンジの拡大された１枚の画像となる。
【００１７】
本実施例においては、ダイナミックレンジの拡大を標準画像のヒストグラムから装置自身により判定する方法を用いているが、ユーザの判定によりダイナミックレンジ拡大を行うか否かの判定を行うモードを設けてもよい。
【００１８】
また本実施例においては、図２に示すような２つのある範囲を有するＡ、Ｂの部分の信号レベルのヒストグラムを用いて電子シャッタ速度を決定したが、標準画像の認識精度を向上するために、図３に示すように、２つ以上のそれぞれある範囲を有するＡ〜Ｄの部分の信号レベルのヒストグラムを用いて電子シャッタ速度を決定するようにしてもよい。また標準画像及び非標準画像を撮影する電子シャッタ速度及び絞り値はユーザがあらかじめ設定可能とするモードを設けてもよい。さらにパラメータ決定部１０で非標準画像の絞り値を決定するようにしてもよい。
【００１９】
次に本発明の第２の実施例について説明する。本実施例は図４に示すように、撮像装置４１を制御するホストコンピュータ４９によりダイナミックレンジ拡大処理を行うようにしたものである。まず撮像装置４１において、適正露光で撮影された標準画像はホストコンピュータ４９に転送される。標準画像はメモリ４４に記憶され、第１の実施例と同様にヒストグラム処理部４５によりヒストグラムが求められる。次に求められたヒストグラムはダイナミックレンジ拡大判定部４６に送られ、ダイナミックレンジの拡大を行うか否かの判定が行なわれる。
【００２０】
ダイナミックレンジ拡大を行う必要がないと判定が下されれば、標準画像はそのまま処理されずに合成部４８を通じて出力される。ダイナミックレンジの拡大を行う判定が下されれば、パラメータ決定部４７により標準画像のヒストグラムを用いて非標準画像を撮影するための絞り値及び電子シャッタ速度が求められる。求められた絞り値と電子シャッタ速度はインターフェース部４２により撮像装置４１へと送られる。撮像装置４１はその絞り値及び電子シャッタ値を用いて非標準画像を撮影する。
【００２１】
撮影された非標準画像はホストコンピュータ４９に送られ、メモリ４３に記憶される。メモリ４４に記憶された標準画像とメモリ４３に記憶された非標準画像とは合成部４８により合成され、ダイナミックレンジの拡大された１枚の画像になる。この合成された画像はそのまま出力してもよいし、あるいは、ユーザの選択により撮像装置４１に送り返され撮像装置４１中のメモリ又は記憶媒体に記録するようにしてもよい。
【００２２】
本実施例によれば、ダイナミックレンジ拡大処理機能がない撮像装置においてもダイナミックレンジ拡大画像を得ることが可能となる。
【００２３】
図５は図１、図４の合成部１２、４８の構成例を示すブロック図である。
図５において、５１は標準画像と非標準画像の輝度レベルを合わせる輝度レベル調節手段、５２はレベル調節された上記標準画像中のレベル調節された非標準画像と置換する置換領域の検出を行う置換領域検出手段、５３は標準画像と非標準画像の領域を上記検出に基づいて置換する置換手段である。
【００２４】
尚、置換領域検出手段５３は、あらかじめ設定された閾値を基に置換領域の検出を行うように構成されている。あるいは置換領域検出手段５３は、標準画像の信号レベルのヒストグラムを基に置換領域の検出を行うように構成されている。
【００２５】
【発明の効果】
以上説明したように本発明によれば、まず第１の画像を撮影してそのヒストグラムからダイナミックレンジの拡大を行うか否かを判定し、判定結果に応じて第２の画像を撮影するためのパラメータを決定するように構成したことにより、ダイナミックレンジを拡大する必要があるか否かを自動的に判別し、必要がある場合は、ヒストグラムに基づいて、被写体の明るい領域が適正に露光されている第２の画像を撮影するか、被写体の暗い領域が適正に露光されている第２の画像を撮影するか、両方の第２の画像を撮影するかを判断して第２の画像を撮影し、得られた第２の画像と第１の画像とを合成することにより、輝度差の大きい被写体について適切な広ダイナミックレンジの画像を得ることができ、また、ダイナミックレンジを拡大する必要がない場合は、第１の画像を出力することにより、短時間に撮影を行うことができる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図である。
【図２】標準画像の信号レベルのヒストグラム図である。
【図３】標準画像の信号レベルの他のヒストグラム図である。
【図４】本発明の第２の実施例を示すブロック図である。
【図５】第１、第２の実施例における合成部の構成例を示すブロック図である。
【符号の説明】
８、  ４５  ヒストグラム処理部
９、  ４６  ダイナミックレンジ拡大判定部
１０、４７  パラメータ決定部
１２、４８  合成部
【図１】
0003639627.tif 000003
【図２】
0003639627.tif 000004
【図３】
0003639627.tif 000005
【図４】
0003639627.tif 000006
【図５】
0003639627.tif 000007