(57)【特許請求の範囲】
【請求項１】
被写体が同一で露出条件が異なる高露出値画像と低露出値画像との２種類のデジタル画像を合成する画像処理装置において、
前記２画像のそれぞれに対して輝度を算出する手段と、
前記２画像の露出値の比率に応じて前記高露出値画像の輝度及び画素データの要素となる色成分毎の画素値を前記低露出値画像と階調レベル合わせするための補正をルックアップテーブルを用いて行う手段と、
前記低露出値画像の輝度と前記補正後の高露出値画像の輝度とを単純に加算して第１の加算結果を生成する第１の加算する手段と、
前記第１の加算結果から前記２画像のそれぞれに対する合成比率を算出する手段と、
前記２画像のそれぞれの前記合成比率を前記低露出値画像の画素データの要素となる色成分毎の画素値、及び前記補正後の高露出値画像の画素データの要素となる色成分毎の画素値に乗算する手段と、
それぞれの前記合成比率を乗算した後の画素データの要素となる色成分毎の画素値を加算して第２の加算結果を生成する第２の加算する手段と、
前記第２の加算する手段により加算された後の画素データの要素となる色成分毎の画素値に対して階調変換する手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記２画像の露出値の比率に応じて補正された高露出値画像の輝度と加算する低露出値画像の輝度及び前記合成比率が乗算される低露出値画像の画素データの要素となる色成分毎の画素値を、低露出値画像中で階調特性が非線形となる部分を補正するためにルックアップテーブルを用いて行う手段をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写体が同一で露出条件が異なる高露出値画像と低露出値画像との２種類のデジタル画像を合成する画像処理方法において、
前記２画像のそれぞれに対して輝度を算出するステップと、
前記２画像の露出値の比率に応じて前記高露出値画像の輝度及び画素データの要素となる色成分毎の画素値を前記低露出値画像と階調レベル合わせするための補正をルックアップテーブルを用いて行うステップと、
前記低露出値画像の輝度と前記補正後の高露出値画像の輝度とを単純に加算して第１の加算結果を生成する第１の加算ステップと、
前記第１の加算結果から前記２画像のそれぞれに対する合成比率を算出するステップと、
前記２画像のそれぞれの前記合成比率を前記低露出値画像の画素データの要素となる色成分毎の画素値、及び前記補正後の高露出値画像の画素データの要素となる色成分毎の画素値に乗算するステップと、
それぞれの前記合成比率を乗算した後の画素データの要素となる色成分毎の画素値を加算して第２の加算結果を生成する第２の加算ステップと、
前記第２の加算ステップにより加算された後の画素データの要素となる色成分毎の画素値に対して階調変換するステップと
を備えたことを特徴とする画像処理方法。
【請求項４】
前記２画像の露出値の比率に応じて補正された高露出値画像の輝度と加算される低露出値画像の輝度及び前記合成比率が乗算される低露出値画像の画素データの要素となる色成分毎の画素値を、低露出値画像中で階調特性が非線形となる部分を補正するためにルックアップテーブルを用いて行うステップをさらに備えたことを特徴とする請求項３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ダイナミックレンジの広い被写体を白飛びや黒つぶれなく撮像するための、デジタル画像のダイナミックレンジを広げる画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
デジタル画像のダイナミックレンジを広げる手法の一つに、露光時間が異なる２枚の画像を合成する手法がある。図３は例えば特許第３０７４９６７号公報に記載されている従来の画像処理装置の構成図である。図３中のＣＣＤ(Charge Coupled Devices)１０１は撮像素子であり露光時間を切り替えて露光時間が長い低露出値画像と露光時間が短い高露出値画像の２枚の画像を時分割で取得することができる。メモリ１０２は高露出値画像を格納するためのバッファメモリであり、時分割に取得した２枚の画像を合成する際のタイミング調整のために使用する。
【０００３】
高露出値画像は乗算器１０３で定数倍された後にレベル重みＨ乗算器１０５にて階調に応じた重み係数が乗算される。また、低露出値画像はレベル重みＬ乗算器１０６にて階調に応じた重み係数が乗算される。重み係数が乗算された２枚の画像は加算器１０７で加算される。加算後は速度変換手段１０８で出力タイミングを調整した後に、レベル圧縮手段１０９にて出力階調内にレベルを圧縮し、その圧縮した画像データが出力される。
なお、タイミング制御手段１０４は、ＣＣＤ１０１、乗算器１０３、速度変換手段１０８の処理タイミングを制御する。
【０００４】
【特許文献１】特許第３０７４９６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上のように構成された従来の画像処理装置では、レベル重みを高露出値画像と低露出値画像のそれぞれに対して独立に算出しているため、高露出値画像中で黒つぶれしている箇所に対応する低露出値画像のレベル重みＬを直接指定できないという問題点があった。また、同様に低露出値画像で白飛びしている箇所に対応する高露出値画像のレベル重みＨも直接指定できないという問題点もあった。
【０００６】
本発明は上記従来の問題点を解決するもので、高露出値画像及び低露出値画像の２枚の画像を合成する際の合成比率を２枚の画像に連動させて算出することで、黒つぶれ箇所及び白飛び箇所に適切な合成比率を適用することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、
被写体が同一で露出条件が異なる高露出値画像と低露出値画像との２種類のデジタル画像を合成する画像処理装置において、
前記２画像のそれぞれに対して輝度を算出する手段と、
前記２画像の露出値の比率に応じて前記高露出値画像の輝度及び画素データの要素となる色成分毎の画素値を前記低露出値画像と階調レベル合わせするための補正をルックアップテーブルを用いて行う手段と、
前記低露出値画像の輝度と前記補正後の高露出値画像の輝度とを単純に加算して第１の加算結果を生成する第１の加算する手段と、
前記第１の加算結果から前記２画像のそれぞれに対する合成比率を算出する手段と、
前記２画像のそれぞれの前記合成比率を前記低露出値画像の画素データの要素となる色成分毎の画素値、及び前記補正後の高露出値画像の画素データの要素となる色成分毎の画素値に乗算する手段と、
それぞれの前記合成比率を乗算した後の画素データの要素となる色成分毎の画素値を加算して第２の加算結果を生成する第２の加算する手段と、
前記第２の加算する手段により加算された後の画素データの要素となる色成分毎の画素値に対して階調変換する手段とを備える。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、高露出値画像と低露出値画像の露出値比率に応じて高露出値画像の輝度及び画素データを変換する手段により、低露出値画像との階調のレベル合わせを行う変換処理をした後、変換処理した高露出値画像の輝度と低露出値画像の輝度とを加算した結果から高露出値画像と低露出値画像の夫々に対する合成比率を算出しているので、高露出値画像及び低露出値画像の両方を同時に参照して合成比率を算出することができるため、黒つぶれ箇所及び白飛び箇所に適切な合成比率を適用することができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１に本実施の形態の画像処理装置の構成を示す。本実施の形態による画像処理装置は高露出値画像及び低露出値画像の画素データを１画素ずつ処理して処理画像の画素データを出力する構成としている。高露出値画像と低露出値画像及び処理画像の画像形式としてはイメージセンサから出力されるＲＡＷデータを想定しているが、ＲＡＷデータ以外のＲＧＢ４：４：４形式、ＹＣｂＣｒ４：４：４形式、ＹＣｂＣｒ４：２：２形式等でもかまわない。
【００１０】
本実施の形態の画像処理装置が従来の画像処理装置と異なる点は、高露出値画像と低露出値画像の輝度成分を加算し、輝度の加算結果から合成比率を算出する部分を備えたことである。
【００１１】
図１中の輝度算出手段１１では高露出値画像の輝度を算出する。同様に輝度算出手段１２では低露出値画像の輝度を算出する。高露出値画像及び低露出値画像がＹＣｂＣｒ４：４：４等のあらかじめ輝度データが算出されているデータ形式である場合には、輝度算出手段１１及び輝度算出手段１２は不要である。
【００１２】
高露出値画像に対して露出値比率変換手段１３を適用して低露出値画像との階調のレベル合わせを行う。露出値比率変換手段１３は入力された画素データに対して変換後の出力データを出力するルックアップテーブル（ＬＵＴ）形式で変換を行う。高露出値画像中で階調特性が非線形となる部分を補正するためにＬＵＴ形式としている。露出値比率変換手段１３は輝度及び輝度成分を含む画像データのそれぞれに対して独立に適用する。例えばＲＡＷデータの場合には、輝度に対するＬＵＴ、Ｒ成分に対するＬＵＴ、Ｇｒ成分に対するＬＵＴ、Ｇｂ成分に対するＬＵＴ、Ｂ成分に対するＬＵＴの５種類のＬＵＴを露出値比率変換手段１３に備える。またＹＣｂＣｒ形式のＣｂ成分及びＣｒ成分のように輝度成分を含まない画像データに対しては露出値比率変換手段１３を適用しない。
【００１３】
加算手段１５では、露出値比率変換手段１３による露出値比率変換後の高露出値画像の輝度と、輝度算出手段１２で算出された低露出値画像の輝度を加算する。その後、合成比率係数算出手段１６では加算手段１５による輝度加算結果から合成比率係数を算出する。合成比率係数算出手段１６は輝度加算結果を入力とし、合成比率係数を出力とするＬＵＴで構成する。合成比率係数は高露出値画像用合成比率係数と低露出値画像用合成比率係数の２種類があり、それぞれ０．００〜１．００の範囲のいずれかの値である。両方の合成比率係数の和は１．００とする。
【００１４】
算出した合成比率係数を、合成比率乗算手段１７にて露出値比率変換後の高露出値画像画素データに乗算する。同様に合成比率乗算手段１８では低露出値画像画素データに合成比率係数を乗算する。２種類の乗算結果を加算手段１９で加算して画像の合成を行う。
【００１５】
高露出値画像に対して露出値比率変換手段１３で露出値比率を変換し階調を広げているため元の階調に収めるために階調変換処理が必要である。合成後階調変換処理手段２０では階調を圧縮することで、広がった階調を所定の階調内に圧縮する。合成後階調変換処理手段２０は加算手段１９から出力される合成後画像の画素データを入力とし、階調圧縮後の処理画像画素データを出力とするＬＵＴで構成する。
【００１６】
画像処理装置をこのように構成することで、高露出値画像及び低露出値画像の両方を同時に参照して合成比率を算出することができるため、黒つぶれ箇所及び白飛び箇所に適切な合成比率を適用することができる。
【００１７】
なお本実施の形態の説明では高露出値画像と低露出値画像に対する手法として説明しているが、露出を調整する方法には露光時間及びイメージセンサのアナログゲイン等の方法があり、いずれの方法で露出を調整しても本実施の形態を適用することが可能である。
【００１８】
実施の形態２．
図２に本実施の形態の画像処理装置の構成を示す。本実施の形態の画像処理装置が実施の形態１の画像処理装置と異なる点は、低露出値画像に対する露出値比率変換手段１４を備えた点である。
【００１９】
高露出値画像と同様に低露出値画像に対しても露出値比率変換手段１４を適用して高露出値画像との階調のレベル合わせを行う。露出値比率変換手段１４は入力された画素データに対して変換後の出力データを出力するルックアップテーブル（ＬＵＴ）形式で変換を行う。低露出値画像中で階調特性が非線形となる部分を補正するためにＬＵＴ形式としている。露出値比率変換手段１４も輝度及び輝度成分を含む画像データのそれぞれに対して独立に適用する。また輝度成分を含まない画像データに対しては露出値比率変換手段１４を適用しない。
【００２０】
画像処理装置をこのように構成することで、低露出値画像に対しても階調特性が非線形となる部分を補正することができるため、非線形な特性がない状態で合成を行うことが可能になる。
【産業上の利用可能性】
【００２１】
この発明の画像処理技術は、例えば、デジタルスチルカメラ用信号処理ＤＳＰ(Digital Signal Processor)等に利用可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１による画像処理装置のブロック構成図である。
【図２】本発明の実施の形態２による画像処理装置のブロック構成図である。
【図３】従来の画像処理装置のブロック構成図である。
【符号の説明】
【００２３】
１１；輝度算出手段、１２；輝度算出手段、１３；露出値比率変換手段、１４；露出値比率変換手段、１５；加算手段、１６；合成比率係数算出手段、１７；合成比率係数乗算手段、１８；合成比率係数乗算手段、１９；加算手段、２０；合成後階調変換処理手段、１０１；ＣＣＤ、１０２；メモリ、１０３；乗算器、１０４；タイミング制御手段、１０５；レベル重みＨ乗算器、１０６；レベル重みＬ乗算器、１０７；加算器、１０８；速度変換手段、１０９；レベル圧縮手段。
【図１】
0005085243.tif 000002
【図２】
0005085243.tif 000003
【図３】
0005085243.tif 000004