(57)【特許請求の範囲】
【請求項１】
露光量の異なる少なくとも２枚の画像から、広ダイナミックレンジの画像を合成する画像合成装置において、
適切な露光量で撮影された適正露光画像、および該適正露光画像とは異なる露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光画像から低周波領域を分割する分割手段と、
上記低周波領域における画素信号の特徴量に関する統計量を求める統計手段と、
上記統計量に基づいて、上記適正露光画像の画素信号を、適正領域と明領域あるいは暗領域とに分割する画素信号レベルを決定する決定手段と、
上記適正露光画像と上記異露光画像とを露光量比に合わせて階調補正して、上記画素信号レベルを境として合成する合成手段と、
を備えることを特徴とする画像合成装置。
【請求項２】
露光量の異なる少なくとも２枚の画像から、広ダイナミックレンジの画像を合成する画像合成装置において、
適切な露光量で撮影された適正露光画像、および該適正露光画像とは異なる露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光画像から低周波領域を分割する分割手段と、
上記低周波領域に対応する上記異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求める限定手段と、
上記適正露光画像と上記異露光画像とを露光量比に合わせて階調補正して、上記画素信号レベルの範囲内で設定される分割レベルを境として合成する合成手段と、
を備えることを特徴とする画像合成装置。
【請求項３】
露光量の異なる少なくとも２枚の画像から、広ダイナミックレンジの画像を合成する画像合成装置において、
適切な露光量で撮影された適正露光画像、および該適正露光画像とは異なる露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光画像から低周波領域を分割する分割手段と、
上記低周波領域に対応する上記異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求める限定手段と、
上記低周波領域における画素信号の特徴量に関する統計量を求める統計手段と、
上記画素信号レベルの範囲内で、上記統計量に基づいて、上記適正露光画像の画素信号を、適正領域と明領域あるいは暗領域とに分割する画素信号レベルを決定する決定手段と、
上記適正露光画像と上記異露光画像とを露光量比に合わせて階調補正して、上記画素信号レベルを境として合成する合成手段と、
を備えることを特徴とする画像合成装置。
【請求項４】
上記分割手段は、
上記適正露光画像の画素信号を求める画素信号算出手段と、
上記画素信号に基づいてエッジ強度を計算するエッジ抽出手段と、
上記エッジ強度と所定の値との比較に基づいてエッジの存在しない領域を抽出する領域抽出手段と、
を備えることを特徴とする請求項１、２または３に記載の画像合成装置。
【請求項５】
上記統計手段は、
上記分割手段により抽出された上記適正露光画像の低周波領域内の画素信号を読み取る画素抽出手段と、
読み取った画素信号に関する頻度から画素信号のヒストグラム分布を計算する加算手段と、
上記ヒストグラム分布を近傍の階級間で平均化する平滑手段と、
を備えることを特徴とする請求項１または３に記載の画像合成装置。
【請求項６】
上記決定手段は、
上記画素信号のヒストグラム分布を微分して極大値および極小値を検出する極値検出手段と、
上記極小値と隣り合う極大値との頻度値の差を検出する差検出手段と、
各極小値に対する上記頻度値の差を比較して、最大値を示す極小値を選択する比較手段と、
を備えることを特徴とする請求項５に記載の画像合成装置。
【請求項７】
上記限定手段は、
上記分割手段により抽出された上記適正露光画像の低周波領域において、領域を分割する画素信号レベルを設定する設定手段と、
分割された領域に対応する上記異露光画像の領域内に含まれる画素で、画素信号の輝度値が所定の値よりも低い画素または高い画素の数を加算する加算手段と、
該加算手段により加算された画素数が所定の許容範囲内であるかどうかを判定する判定手段と、
を備え、上記判定手段での判定結果に基づいて上記設定手段で設定する画素信号レベルを変更しながら、上記低周波領域に対応する上記異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求めるよう構成したことを特徴とする請求項２または３に記載の画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、露光量の異なる少なくとも２枚以上の画像を合成して、輝度レベルを良好に補正した広ダイナミックレンジの画像を得る画像合成装置に関するものである。
【０００２】
【従来の技術】
一般に、ビデオカメラやディジタルスチルカメラなどの固体撮像素子による画像は、固体撮像素子のダイナミックレンジが狭いために、逆光シーンや明暗の差が激しい被写体を撮影する場合には、被写体に露光量を合わせると背景が白く飛んでしまったり、背景に露光量を合わせると被写体が黒くつぶれてしまったりするなど、うまく撮影できないという問題がある。
【０００３】
そこで、露光量の異なる複数枚の画像を撮影し、適切な露光量で撮影された画像中の明るすぎる領域あるいは暗すぎる領域を分割して、異なる露光量の画像と置き換えることでダイナミックレンジが拡大された画像を生成する手法が提案されている。
【０００４】
しかし、この場合、明るすぎる領域、あるいは暗すぎる領域を分割する際の境目となる切替えレベルを、あらゆる画像に対して単純に一意的に定めてしまうと、場合によっては合成画像に擬似輪郭や不自然な合成境界などが生じてしまい、画質が大きく劣化することがある。このため、この切替えレベルをどのように決定するかということは、高精度な合成画像を生成する上で非常に重要な要因となる。
【０００５】
このようなことから、例えば特開平７-１３１７０８号公報には、撮像素子から得られた露光量の異なる複数枚の画像信号を合成するたびに、輝度レベル調整のための演算を行なって、標準画像の明るい領域と暗い領域とを分割する閾値を求め、この閾値に基づいて対応する領域を非標準画像と置き換えることにより、撮像素子の特性の違いや、照度による出力のばらつきなどで輝度レベルを完全に合わすことができないために生じる合成画像の擬似輪郭を減少させるようにした画像合成装置が開示されている。
【０００６】
また、特開平５-１３０４９９号公報には、適切な露光量で撮影した第１の画像情報と、この第１の画像情報とは異なる露光量で撮影された第２の画像情報との少なくとも２枚の画像情報を得、第１の画像情報に対して輝度ヒストグラムを作成して、その輝度ヒストグラムの頻度の極小での輝度レベルを置換基準輝度レベルとし、その位置に対応する標準画像データとは異なる露光量の第２の画像情報の輝度平均値を算出し、この輝度平均値に基づいて白飛びが発生している場合は基準輝度レベル以上の画素を、黒つぶれが発生している場合は基準輝度レベル以下の画素の輝度情報を置換して輝度情報を補正するように画像信号の輝度補正装置が開示されている。
【０００７】
【発明が解決しようとする課題】
ところが、上記の特開平７-１３１７０８号公報に開示された画像合成装置にあっては、適切な露光量で撮影された標準画像信号と、標準画像より露光量を少なくして撮影した非標準画像信号との露光量比を統計的に求めて、標準画像信号と非標準画像信号とを切替える輝度レベルの設定範囲を計算し、その設定範囲の最小値から最大値までの間隔の割合により切替え輝度レベルを設定するようにしていることから、切替え輝度レベルが画像の輝度値の分布に拘わらず統一的に求められることになる。このため、場合によっては画像中の比較的輝度変化が少ない領域、あるいは被写体領域のような比較的均一な領域に切替え輝度レベルが設定されて、その領域に境目が生じることがある。
【０００８】
このように、切替え輝度レベルが、比較的均一な領域に設定されてその領域に境目が生じると、人間の視覚は、変化の大きい部分では鈍感で、変化の小さい部分では敏感な特性があることから、不自然な輪郭を知覚してしまい、良好な合成画像を得ることができないという問題がある。
【０００９】
また、特開平５-１３０４９９号公報に開示された輝度補正装置にあっては、撮影された画像信号の画像全体において輝度レベルのヒストグラムを計算して、頻度の少ない輝度レベルを数点求め、その中からユーザが感覚的に画像情報の輝度情報を置換する置換基準輝度レベルを選択して、画像合成を行っているため、ヒストグラムの分布が双峰形の場合には、分布の最小階級を置換基準輝度レベルとして選択すればいいが、偏った分布の場合には単純に最小値を選択すると良好な合成画像が得られないことがある。
【００１０】
このため、高精度な合成画像を得るには、ユーザが試行錯誤を繰り返しながら置換基準輝度レベルを定める必要があり、ユーザの経験と勘、熟練などを要し、ユーザに多大の労力や時間の消費を強いるという問題がある。
【００１１】
したがって、かかる点に鑑みてなされた本発明の目的は、画像データの輝度分布に拘わらず、またユーザに多大な労力や時間の消費を強いることなく、高精度な合成画像を簡単に得ることができる画像合成装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成する請求項１に係る発明は、露光量の異なる少なくとも２枚の画像から、広ダイナミックレンジの画像を合成する画像合成装置において、
適切な露光量で撮影された適正露光画像、および該適正露光画像とは異なる露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光画像から低周波領域を分割する分割手段と、
上記低周波領域における画素信号の特徴量に関する統計量を求める統計手段と、
上記統計量に基づいて、上記適正露光画像の画素信号を、適正領域と明領域あるいは暗領域とに分割する画素信号レベルを決定する決定手段と、
上記適正露光画像と上記異露光画像とを露光量比に合わせて階調補正して、上記画素信号レベルを境として合成する合成手段と、
を備えることを特徴とするものである。
【００１３】
請求項１に係る発明によれば、撮影手段により露光量の異なる複数枚の画像が撮影され、そのうちの適正な露光量の画像に対して分割手段により画像中の周波数成分の低い領域が検出されて、その低周波領域における画素信号の特徴量に関する統計量が統計手段で求められ、その統計量に基づいて決定手段により明るさが適当な領域と明るすぎる領域、または明るさが適当な領域と暗すぎる領域とを分離する画素信号レベルが自動的に決定され、その決定された画素信号レベルを境に合成手段により露光量の異なる画像が合成されるので、画像データの輝度分布に拘わらず、またユーザに多大な労力や時間の消費を強いることなく、不自然な境界などの影響が少ない高精度な合成画像を得ることができる。
【００１４】
請求項２に係る発明は、露光量の異なる少なくとも２枚の画像から、広ダイナミックレンジの画像を合成する画像合成装置において、
適切な露光量で撮影された適正露光画像、および該適正露光画像とは異なる露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光画像から低周波領域を分割する分割手段と、
上記低周波領域に対応する上記異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求める限定手段と、
上記適正露光画像と上記異露光画像とを露光量比に合わせて階調補正して、上記画素信号レベルの範囲内で設定される分割レベルを境として合成する合成手段と、
を備えることを特徴とするものである。
【００１５】
請求項２に係る発明によれば、撮影手段により露光量の異なる複数枚の画像が撮影され、そのうちの適正な露光量の画像に対して分割手段により画像中の周波数成分の低い領域が検出され、その低周波領域に対応する異露光画像の領域に対して限定手段により黒つぶれまたは白飛びの画素が含まれないような画素信号レベル範囲が求められるので、その範囲内で分割レベルを設定することにより、設定された分割レベルを境として合成手段により適正露光画像と異露光画像とを合成することができる。したがって、ユーザの経験や勘、熟練などを要することなく、入力画像の画素信号レベルの分布に依存しない高精度な合成画像を簡単に得ることができる。
【００１６】
請求項３に係る発明は、露光量の異なる少なくとも２枚の画像から、広ダイナミックレンジの画像を合成する画像合成装置において、
適切な露光量で撮影された適正露光画像、および該適正露光画像とは異なる露光量で撮影された異露光画像を撮影する撮影手段と、
上記適正露光画像の周波数情報に基づいて上記適正露光画像から低周波領域を分割する分割手段と、
上記低周波領域に対応する上記異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求める限定手段と、
上記低周波領域における画素信号の特徴量に関する統計量を求める統計手段と、
上記画素信号レベルの範囲内で、上記統計量に基づいて、上記適正露光画像の画素信号を、適正領域と明領域あるいは暗領域とに分割する画素信号レベルを決定する決定手段と、
上記適正露光画像と上記異露光画像とを露光量比に合わせて階調補正して、上記画素信号レベルを境として合成する合成手段と、
を備えることを特徴とするものである。
【００１７】
請求項３に係る発明によれば、撮影手段により露光量の異なる複数枚の画像が撮影され、そのうちの適正な露光量の画像に対して分割手段により画像中の周波数成分の低い領域が検出され、その低周波領域に対応する異露光画像の領域に対して限定手段により黒つぶれまたは白飛びの画素が含まれないような画素信号レベル範囲が求められ、さらに統計手段により低周波領域における画素信号の特徴量に関する統計量が求められ、これら画素信号レベル範囲および統計量に基づいて、決定手段により画素信号レベルの範囲内で適正露光画像の画素信号を適正領域と明領域あるいは暗領域とに分割する画素信号レベルが自動的に決定されて、その決定された画素信号レベルを境に合成手段により露光量の異なる画像が合成される。したがって、請求項１に係る発明と同様に、画像データの輝度分布に拘わらず、またユーザに多大な労力や時間の消費を強いることなく、不自然な境界などの影響が少ない高精度な合成画像を得ることができる。
【００１８】
請求項４に係る発明は、請求項１、２または３に記載の画像合成装置において、
上記分割手段は、
上記適正露光画像の画素信号を求める画素信号算出手段と、
上記画素信号に基づいてエッジ強度を計算するエッジ抽出手段と、
上記エッジ強度と所定の値との比較に基づいてエッジの存在しない領域を抽出する領域抽出手段と、
を備えることを特徴とするものである。
【００１９】
請求項４に係る発明によれば、適正露光画像の画素信号からエッジを抽出し、その強度に基づいてエッジの存在しない領域を抽出するので、画像中の画素信号の周波数成分が低い領域、つまり人物や建造物などの被写体を除くような領域を検出することができる。
【００２０】
請求項５に係る発明は、請求項１または３に記載の画像合成装置において、
上記統計手段は、
上記分割手段により抽出された上記適正露光画像の低周波領域内の画素信号を読み取る画素抽出手段と、
読み取った画素信号に関する頻度から画素信号のヒストグラム分布を計算する加算手段と、
上記ヒストグラム分布を近傍の階級間で平均化する平滑手段と、
を備えることを特徴とするものである。
【００２１】
請求項５に係る発明によると、適正露光画像の低周波領域内の画素信号を読み取り、そのヒストグラム分布を計算して平滑化するので、周波数成分の低い領域、つまり被写体が除かれた背景などの領域の画素信号分布を求めることができる。
【００２２】
請求項６に係る発明は、請求項５に記載の画像合成装置において、
上記決定手段は、
上記画素信号のヒストグラム分布を微分して極大値および極小値を検出する極値検出手段と、
上記極小値と隣り合う極大値との頻度値の差を検出する差検出手段と、
各極小値に対する上記頻度値の差を比較して、最大値を示す極小値を選択する比較手段と、
を備えることを特徴とするものである。
【００２３】
請求項６に係る発明によれば、統計手段により計算された画素信号のヒストグラム分布内の極小値を検出し、検出されたそれぞれの極小値の中で隣り合う極大値との頻度値の差が最大である場合の極小値を切替えレベルとして選択するので、出現頻度が少ない輝度レベルを境に合成画像を生成でき、不自然な合成境目や擬似輪郭の影響を抑制した合成画像を得ることができる。
【００２４】
請求項７に係る発明は、請求項２または３に記載の画像合成装置において、
上記限定手段は、
上記分割手段により抽出された上記適正露光画像の低周波領域において、領域を分割する画素信号レベルを設定する設定手段と、
分割された領域に対応する上記異露光画像の領域内に含まれる画素で、画素信号の輝度値が所定の値よりも低い画素または高い画素の数を加算する加算手段と、
該加算手段により加算された画素数が所定の許容範囲内であるかどうかを判定する判定手段と、
を備え、上記判定手段での判定結果に基づいて上記設定手段で設定する画素信号レベルを変更しながら、上記低周波領域に対応する上記異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求めるよう構成したことを特徴とするものである。
【００２５】
請求項７に係る発明によれば、判定手段での判定結果に基づいて設定手段で設定する画素信号レベルを変更しながら、適正画像の低周波領域に対応する異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求めるので、画像の画素信号の分布にかかわらず、高精度な合成画像を得ることができる。
【００２６】
【発明の実施の形態】
以下、本発明による画像合成装置の実施の形態について、図面を参照して説明する。
【００２７】
図１〜図６は本発明の第１実施の形態を示すもので、図１は画像合成装置の全体の構成を示すブロック図、図２は図１に示す分割部の一例の構成を示すブロック図、図３は図２に示すエッジ抽出部で用いるエッジ検出フィルタの二つの例を示す図、図４は図１に示す統計部の一例の構成を示すブロック図、図５は同じく決定部の一例の構成を示すブロック図、図６は図５に示す決定部の動作を説明するための図である。
【００２８】
図１に示すように、本実施の形態の画像合成装置は、撮像部１０、Ａ／Ｄ変換器１５、画像バッファ１６、合成制御部１７、合成部１８、出力部１９、補間部２０、入出力制御部２１、および閾値演算部２６を有している。撮像部１０は、適切な露光量で撮影された適正露光画像および該適正露光画像とは異なる露光量で撮影された異露光画像を撮影する撮影手段を構成するもので、レンズ系１１、ローパスフィルタ１２、ＣＣＤ（撮像素子）１３および撮像素子制御部１４を有している。また、閾値演算部２６は、分割部２２、統計部２３および決定部２４を有している。
【００２９】
本実施の形態では、図示しない撮影ボタンを押すことにより撮影モードとなり、この撮影モードにおいて、撮像部１０により撮像素子制御部１４の制御に基づいて、レンズ系１１およびローパスフィルタ１２を経てＣＣＤ１３より露光量の異なる複数枚の画像、ここでは露光量が適切な適正露光画像と、適切な露光量よりも少ない露光量の短時間露光画像との２枚の画像を撮影する。
【００３０】
撮像部１０で撮影された露光量の異なる２枚の画像データは、それぞれＡ／Ｄ変換器１５でディジタル信号に変換して画像バッファ１６に取り込んで、画像バッファ１６から合成制御部１７を経て合成部１８に供給すると共に、画像バッファ１６に取り込まれた適正露光画像データおよび短時間露光画像データのうち、適正露光画像データは補間部２０に供給する。補間部２０では、単板の適正露光画像データを補間してＲ（赤色信号），Ｇ（緑色信号），Ｂ（青色信号）の三板の適正露光画像データを、これらの適正露光画像データを入出力制御部２１の制御に基づいて閾値演算部２６の分割部２２および統計部２３にそれぞれ供給する。なお、補間部２０での補間処理は、例えば線形演算やその他公知の演算法を用いる。
【００３１】
分割部２２は、適正露光画像の周波数情報に基づいて、該適正露光画像から低周波領域を分割する分割手段を構成するもので、図２に示すように、画素信号算出部３１、エッジ抽出部３２および領域抽出部３３を有して構成する。画素信号算出部３１は、適正露光画像の画素信号を求める画素信号算出手段を構成するもので、入出力制御部２１の制御のもとに送られた適正露光の画像データに対し、例えば下記の（１）式によりＲ，Ｇ，Ｂの各色信号を用いて各画素の輝度値Ｙを演算してエッジ抽出部３２に供給する。
【００３２】
【数１】
Ｙ＝０.２９９×Ｒ＋０.５８７×Ｇ＋０.１１４×Ｂ      ・・・（１）
【００３３】
なお、上記（１）式のように、Ｒ，Ｇ，Ｂの各色信号を用いて輝度値Ｙを算出する代わりに、例えばＧ信号等の単一の色信号を輝度信号としても構わない。
【００３４】
エッジ抽出部３２は、画素信号算出部３１からの輝度信号に基づいてエッジ強度を計算するエッジ抽出手段を構成するもので、画素信号算出部３１からの輝度信号に対して、図３（ａ）に示すようなプルウィット（Prewitt）フィルタや、図３（ｂ）に示すようなソーベル（Sobel）フィルタ、あるいはその他の公知のフィルタを用いてエッジを抽出し、その結果を領域抽出部３３に供給する。
【００３５】
領域抽出部３３は、エッジ強度と所定の値との比較に基づいてエッジの存在しない領域を抽出する領域抽出手段を構成するもので、エッジ抽出部３２で抽出したエッジに対して、その強度を所定の値と比較し、エッジが存在するかどうかを判別する。例えば、求められたエッジ強度が所定の値よりも大きい場合には、その画素位置に識別子「０」を代入し、エッジ強度が小さい場合にはその画素位置に識別子「１」を代入する。なお、この値はエッジの有無が判別できるような識別子であれば、任意の値で構わない。すべての画素に対して同様の判定を繰り返し、画素位置に対応した識別子の集合を統計部２３へと出力する。
【００３６】
統計部２３は、分割部２２で分割された適正露光画像の低周波領域における画素信号の特徴量に関する統計量を求める統計手段を構成するもので、図４に示すように、画素抽出部４１、加算部４２および平滑部４３を有して構成する。画素抽出部４１は、分割部２２により抽出された適正露光画像の低周波領域内の画素信号を読み取る画素抽出手段を構成するもので、分割部２２からの出力に基づいて、入出力制御部２１の制御のもとに送られる適正露光の画像データから、エッジ強度が小さく、エッジがないと判定された領域における画素の輝度信号を抽出して加算部４２に供給する。例えば、分割部２２が出力する画素位置に対応した識別子の集合データを読み取り、エッジが存在しないことを示す識別子「１」を検出した場合に限り、対応する位置の三板画像データからＲ，Ｇ，Ｂの画素信号を読み取って、上記の（１）式により輝度信号を演算するか、あるいは輝度信号を演算する代わりに対応する位置のＧ信号などの色信号を輝度信号として抽出して加算部４２に供給する。
【００３７】
加算部４２は加算手段を構成するもので、画素抽出部４１からの輝度信号を受けてレベル別に頻度を計算して輝度ヒストグラムを算出し、その輝度ヒストグラムを平滑部４３に供給する。
【００３８】
平滑部４３は平滑手段を構成するもので、加算部４２からの輝度ヒストグラムを受け、その分布について隣接する階級の値を平均、メディアン、モードなど公知の方法を用いて平滑化して決定部２４へと出力する。
【００３９】
決定部２４は、上記の統計部２３からの統計量に基づいて、適正露光画像の画素信号を、適正領域と明領域あるいは暗領域とに分割する画素信号レベルを決定する決定手段を構成するもので、図５に示すように、極値検出部５１、差検出部５２および比較部５３を有して構成する。極値検出部５１は極値検出手段を構成するもので、統計部２３からの平滑化されたヒストグラム分布を関数とみなして微分し、その微分値の符号がプラスからマイナス、あるいはマイナスからプラスへと変化している点を探索して、ヒストグラム分布の極大値および極小値を検出して差検出部５２に供給する。この際、数階級で符号の変化が発生しているような点は省くことで、微小な極大値または極小値を除くようにする。
【００４０】
差検出部５２は差検出手段を構成するもので、極値検出部５１の出力に基づいて、統計部２３からのヒストグラム分布の極小値とその極小値と隣り合う極大値との頻度値の差を計算して、その結果を比較部５３に供給する。例えば、図６に示すようなヒストグラム分布の場合には、各極小値Ｉ１，Ｉ２，Ｉ３，・・・と、隣り合う極大値との頻度差ｄｉ（ｉ = １，２，３，・・・）を求める。
【００４１】
比較部５３は比較手段を構成するもので、差検出部５２からの頻度差を比較してその最大値を探索し、そのときの極小値を選択して合成制御部７へ出力する。例えば、図６に示したヒストグラム分布の場合には、検出された頻度差ｄｉ（ｉ= １，２，・・・，８）のうち、ｄ３が最大となるため、そのときの極小値Ｉ２を出力する。
【００４２】
図１において、合成部１８は合成手段を構成するもので、適正露光画像と短時間露光画像とを露光量比に応じて階調補正し、合成制御部１７の制御に基づいて、適正露光画像に対して閾値演算部２６の決定部２４から出力される画素信号レベルを越える画素を、対応する短時間露光画像の画素と置き換えることにより、露光量の異なる２枚の画像を、決定部２４からの画素信号レベルを境として合成して１枚の画像を生成し、その合成画像を出力部１９に供給する。
【００４３】
出力部１９では、合成部１８からの合成画像に対して公知の出力処理を施して保存する。
【００４４】
このように、本実施の形態では、撮影部１０で露光量の異なる複数枚の画像を撮影し、そのうちの適正露光画像に対して分割部２２で画像中の周波数成分の低い領域を検出し、その低周波領域に対して統計部２３で画素信号の特徴量に関する統計量を求め、その統計量に基づいて決定部２４で明るさが適当な領域と明るすぎる領域、または明るさが適当な領域と暗すぎる領域とを分離する画素信号レベルを自動的に決定して、その決定された画素信号レベルを境に合成部１８で露光量の異なる画像を合成するようにしたので、画像データの輝度分布に拘わらず、またユーザに多大な労力や時間の消費を強いることなく、不自然な境界などの影響が少ない高精度な合成画像を得ることができる。
【００４５】
図７〜図１０は本発明の第２実施の形態を示すもので、図７は画像合成装置の全体の構成を示すブロック図、図８は図７に示す限定部の一例の構成を示すブロック図、図９は図８に示す加算部の動作を説明するための図、図１０は限定部の動作を示すフローチャートである。
【００４６】
本実施の形態は、第１実施の形態の画像合成装置の閾値演算部２６に代えて範囲演算部２７を設けると共に、画像バッファ１６から露光量が適切な適正露光画像と適切な露光量とは異なる露光量の異露光画像とを補間部２０に供給してそれぞれの単板画像をＲ，Ｇ，Ｂの三板画像に補間し、それらの画像データを入出力制御部２１を経て範囲演算部２７に供給するようにしたもので、その他の構成は第１実施の形態と同様であるので、第１実施の形態と同様の作用を行なう構成要素には同一参照符号を付して、その説明を省略する。
【００４７】
範囲演算部２７は、分割部２２と限定部２５とを有して構成する。分割部２２は、第１実施の形態と同様に構成して、入出力制御部２１の制御に基づいて供給される適正露光画像のエッジ強度の小さい領域を抽出し、その結果を限定部２５に供給する。
【００４８】
限定部２５は、分割部２２で分割された適正露光画像の低周波領域の位置に対応する異露光画像内の領域において、画素信号の輝度値が所定の値よりも低い画素あるいは高い画素が含まれないように領域を分割する画素信号レベルの範囲を求める限定手段を構成するもので、図８に示すように、設定部６１、加算部６２および判定部６３を有して構成する。設定部６１は設定手段を構成するもので、分割部２２からの出力を受けてエッジ強度の小さい領域の輝度レベルを設定し、その輝度レベルに基づいて、入出力制御部２３を経て供給される適正露光画像の領域を分割し、その結果を加算部６２に供給する。
【００４９】
ここで、設定部６１で設定される輝度レベルは、適正露光画像に対して少ない露光量の異露光画像を合成する場合には、画像のビット幅の最大値（入力画像が１０ビットの場合には１０２３）に初期設定し、適正露光画像に対して多い露光量の異露光画像を合成する場合には、画像のビット幅の最小値（入力画像が１０ビットの場合には０）に初期設定する。
【００５０】
加算部６２は加算手段を構成するもので、入出力制御部２３を経て異露光画像を供給し、設定部６１からの分割された適正露光画像の２つの画像領域のうち、画像合成を行う際に画像の置き換えを行なう領域に対応する異露光画像の領域内に含まれる黒つぶれレベルまたは白飛びレベルの画素数を加算し、その結果を判定部６３に供給する。
【００５１】
ここで、黒つぶれレベルの画素は、あらかじめ設定した所定の値よりも輝度値が小さい画素とし、白飛びレベルの画素は、所定の値よりも輝度値が大きい画素とする。例えば、適正露光画像と、それよりも少ない露光量の短時間露光画像とを合成する場合には、適正露光画像における白飛びレベルの画素を短時間露光画像と置き換えることから、置き換えられる短時間露光画像の対応する領域における黒つぶれレベルの画素を数える。
【００５２】
図９は、黒つぶれレベル画素数の一例を示すもので、横軸は置き換え基準となる画素信号レベルを示し、縦軸は設定された画素信号レベルを境として置き換えられる短時間露光画像の対応する領域内に含まれる黒つぶれレベルの画素数を示している。
【００５３】
判定部６３は判定手段を構成するもので、加算部６２からの黒つぶれレベルの画素数が、設定した所定の許容数を越えているかどうかを判定する。ここで、黒つぶれレベルの画素数が所定の許容数を越えていない場合には、設定部６１の輝度レベルを「１」小さくした値に再設定し、設定部６１に制御を戻して同様の処理を繰り返す。これに対し、黒つぶれレベルの画素数が所定の許容数を超えた場合には、そのときの輝度レベルを限界値として設定可能範囲を求め、合成制御部１７へ出力する。これにより、図９に示すように、黒つぶれレベルの画素数の総和が所定の基準以内である画素信号レベルの限界が求められる。
【００５４】
合成制御部１７では、限定部２５からの画素信号レベル範囲内で、ユーザにより任意の分割レベルを設定させ、合成部１８において適正露光画像と異露光画像とを露光量比に合わせて階調補正して、それらの画像を合成制御部１７で設定された分割レベルを境として合成して出力部１９へ出力する。
【００５５】
以下、図１０に示すフローチャートを参照しながら限定部２５の動作を説明する。本実施の形態では、入力映像信号の階調幅を１０ビットとし、適正露光画像に短時間露光画像を合成するものとする。
【００５６】
先ず、ステップＳ１で初期化処理を行なって、分割輝度レベルｔｈを階調幅の最大値(１０ビットの場合は１０２３)に設定し、黒つぶれレベル画素数ｓｕｍを０に設定する。次に、ステップＳ２において、入力された適正露光画像の低周波領域を、設定された分割輝度レベルｔｈにて領域分割した後、ステップＳ３において分割輝度レベルｔｈよりも高い領域に対応する短時間露光画像の輝度信号を読み取る。その後、ステップＳ４において、読み取った輝度信号が黒つぶれレベルであるかどうかを判定し、黒つぶれレベルの場合には、ステップＳ５において黒つぶれレベル画素数ｓｕｍに１を加算する。
【００５７】
次に、ステップＳ６において、すべてのデータを読み取ったかどうかを判定し、読み取っていない場合には、ステップＳ３に戻って同様の処理を繰り返し、すべてのデータを読み取った場合には、ステップＳ７において黒つぶれレベル画素数の総和ｓｕｍが所定の基準を越えているかどうかを判定し、越えていない場合には、ステップＳ８にて輝度レベルを「１」減算し、黒つぶれレベル画素数の総和ｓｕｍを０に初期化してステップＳ２へ戻る。
【００５８】
以下、ステップＳ７において、黒つぶれレベルの画素数の総和ｓｕｍが所定の基準を越えるまで同様の処理を繰り返し、基準を越えた場合には、許容範囲までの画素信号レベルを設定可能範囲として出力する。
【００５９】
このように、本実施の形態では、撮影部１０で露光量の異なる複数枚の画像を撮影し、そのうちの適正露光画像に対して分割部２２で画像中の周波数成分の低い領域を検出し、その低周波領域に対応する異露光画像の領域に対して限定部２５で黒つぶれまたは白飛びの画素が含まれないような画素信号レベル範囲を求めるようにしたので、その範囲内で分割レベルを設定することにより、設定された分割レベルを境として合成部１８で適正露光画像と異露光画像とを合成することができる。したがって、ユーザの経験や勘、熟練などを要することなく、入力画像の画素信号レベルの分布に依存しない高精度な合成画像を簡単に得ることができる。
【００６０】
図１１は本発明の第３実施の形態における画像合成装置の全体の構成を示すブロック図である。本実施の形態は、第２実施の形態の画像合成装置の範囲演算部２７に代えて、第１実施の形態で説明した閾値演算部２６と第２実施の形態で説明した範囲演算部２７とを組み合わせてなる閾値演算部２８を設けたもので、その他の構成は第１、第２実施の形態と同様であるので、同様の作用を行なう構成要素には同一参照符号を付して、その説明を省略する。
【００６１】
すなわち、本実施の形態では、閾値演算部２８を、第１実施の形態で説明した分割部２２、統計部２３、決定部２４と、第２実施の形態で説明した限定部２５とを有して構成し、入出力制御部２１の制御に従って、分割部２２において適正露光画像のエッジ強度の小さい領域を抽出し、その出力を統計部２３および限定部２５にそれぞれ供給して、統計部２３において適正露光画像のエッジ強度の小さい領域の輝度ヒストグラムを計算し、限定部２５において適正露光画像と異なる露光量の異露光画像を切替える画素信号レベルの設定可能範囲を求める。
【００６２】
統計部２３および限定部２５のそれぞれの出力は決定部２４に供給し、ここで限定部２５からの切替え画素信号レベルの設定可能範囲内で画素信号レベルを決定し、その結果に基づいて合成制御部１７により合成部１８を制御して、露光量の異なる２枚の画像を合成し、その合成画像を出力部１９で出力処理する。
【００６３】
このように、本実施の形態によれば、撮影部１０で露光量の異なる複数枚の画像を撮影し、そのうちの適正露光画像に対して分割部１０で画像中の周波数成分の低い領域を検出し、その低周波領域に対応する異露光画像の領域に対して限定部２５で黒つぶれまたは白飛びの画素が含まれないような画素信号レベル範囲を求め、さらに統計部２３で低周波領域における画素信号の特徴量に関する統計量を求め、これら画素信号レベル範囲および統計量に基づいて、決定部２４で画素信号レベル範囲内で適正露光画像の画素信号を適正領域と明領域あるいは暗領域とに分割する画素信号レベルを自動的に決定し、その決定した画素信号レベルを境に合成部１８で露光量の異なる画像を合成するようにしたので、第１実施の形態と同様に、画像データの輝度分布に拘わらず、またユーザに多大な労力や時間の消費を強いることなく、不自然な境界などの影響が少ない高精度な合成画像を得ることができる。
【００６４】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上記実施の形態では、露光量が適切な適正露光画像とそれよりも少ない露光量の異露光画像とを合成する場合を例示したが、本発明は適正露光画像とそれよりも多い露光量の異露光画像とを合成する場合にも同様に適用することができる。また、本発明は２枚の画像を合成する場合に限らず、露光量の異なる３枚以上の画像を合成する場合にも同様に適用することができると共に、静止画像に限らず、動画像の場合にも同様に適用することができる。
【図面の簡単な説明】
【図１】  本発明による画像合成装置の第１実施の形態の全体の構成を示すブロック図である。
【図２】  図１に示す分割部の一例の構成を示すブロック図である。
【図３】  図２に示すエッジ抽出部で用いるエッジ検出フィルタの二つの例を示す図である。
【図４】  図１に示す統計部の一例の構成を示すブロック図である。
【図５】  図１に示す決定部の一例の構成を示すブロック図である。
【図６】  図５に示す決定部の動作を説明するための図である。
【図７】  本発明による画像合成装置の第２実施の形態の全体の構成を示すブロック図である。
【図８】  図７に示す限定部の一例の構成を示すブロック図である。
【図９】  図８に示す加算部の動作を説明するための図である。
【図１０】  図７に示す限定部の動作を示すフローチャートである。
【図１１】  本発明による画像合成装置の第３実施の形態の全体の構成を示すブロック図である。
【符号の説明】
１０  撮像部
１１  レンズ系
１２  ローパスフィルタ
１３  ＣＣＤ
１４  撮像素子制御部
１５  Ａ／Ｄ変換器
１６  画像バッファ
１７  合成制御部
１８  合成部
１９  出力部
２０  補間部
２１  入出力制御部
２２  分割部
２３  統計部
２４  決定部
２５  限定部
２６  閾値演算部
２７  範囲演算部
２８  閾値演算部
【図１】
0004097980.tif 000002
【図２】
0004097980.tif 000003
【図３】
0004097980.tif 000004
【図４】
0004097980.tif 000005
【図５】
0004097980.tif 000006
【図６】
0004097980.tif 000007
【図７】
0004097980.tif 000008
【図８】
0004097980.tif 000009
【図９】
0004097980.tif 000010
【図１０】
0004097980.tif 000011
【図１１】
0004097980.tif 000012