(57)【要約】【課題】被写体がわずかに移動した複数枚の画像からきれいな合成画像を生成できるようにする。【解決手段】まず、第１の合成比率算出回路１０５において、明るさ評価値に基づいて長時間露光信号と短時間露光信号との合成比率を求める。続いて、第２の合成比率算出回路１０８において、動き評価値およびコントラスト評価値に基づいて長時間露光信号と短時間露光信号との合成比率を求める。そして、第３の合成比率算出回路１０９において、第１の合成比率算出回路１０５および第２の合成比率算出回路１０８で求めた合成比率の和を最終的な合成比率として決定する。【選択図】図１
2014229988.tif 000002
【特許請求の範囲】
【請求項１】
互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出手段と、
前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出手段と、
前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出手段と、
前記明るさ評価値算出手段、前記動き評価値算出手段および前記コントラスト評価値算出手段によって算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出手段と、
前記合成比率算出手段によって算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記合成比率算出手段は、前記明るさに係る評価値に応じた前記第１の画像と前記第２の画像との比率と、前記動きに係る評価値および前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率との和を前記合成比率として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成比率算出手段は、前記明るさに係る評価値に応じた前記第１の画像と前記第２の画像との比率と、前記動きに係る評価値および前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率との積を前記合成比率として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記動きに係る評価値および前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率は、前記動きに係る評価値に応じた前記第１の画像と前記第２の画像との比率と、前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率との積であることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記コントラスト評価値算出手段は、前記第１の画像および第２の画像のうち少なくとも一方の画像から低域周波数成分および高域周波数成分を除去して前記コントラストに係る評価値を算出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記コントラスト評価値算出手段は、前記第１の画像又は前記第２の画像から評価値を算出するか、前記第１の画像と前記第２の画像との両方の画像から評価値を算出するかを切り替える手段を有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記コントラスト評価値算出手段は、前記明るさ評価値算出手段によって評価値が算出された画像から前記コントラストに係る評価値を算出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記コントラスト評価値算出手段は、前記第１の画像および前記第２の画像の両方の画像から算出したコントラストに係る評価値の差分を算出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項９】
前記第１の画像と前記第２の画像との間で被写体の明るさ成分の信号レベルを合わせるレベル補正手段をさらに有し、
前記合成手段は、前記レベル補正手段によって補正された画像を合成して前記合成画像を生成することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
異なる時差で撮影された第１の画像と第２の画像との差分から動きに係る評価値を算出する動き評価値算出手段と、
前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出手段と、
前記動き評価値算出手段および前記コントラスト評価値算出手段によって算出されたそれぞれ評価値と、合成する画像の枚数とに基づいて、前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出手段と、
前記合成比率算出手段によって算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成手段とを有することを特徴とする画像処理装置。
【請求項１１】
互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出工程と、
前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
前記明るさ評価値算出工程、前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とを有することを特徴とする画像処理方法。
【請求項１２】
異なる時差で撮影された第１の画像と第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値と、合成する画像の枚数とに基づいて、前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とを有することを特徴とする画像処理方法。
【請求項１３】
互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出工程と、
前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
前記明るさ評価値算出工程、前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
異なる時差で撮影された第１の画像と第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値と、合成する画像の枚数とに基づいて、前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、２つ以上の画像を合成するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラでは、撮像した被写体像を、ＣＭＯＳセンサやＣＣＤ等の撮像素子により光の強度に応じて画素単位で光電変換し、映像信号に変換して画像処理を行う。一般に、撮像素子のダイナミックレンジは狭く、明るい被写体と暗い被写体との輝度差が大きいシーンにおいては、両被写体を適性露光で撮影することは困難である。そこで、このような問題を解決するために、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、複数枚の画像を合成してダイナミックレンジが拡張された画像を取得する方法が提案されている。例えば特許文献１には、長時間露光信号と短時間露光信号との露光量の比に相当する増幅率を用いて信号レベルの補正を行い、レベル補正した長時間露光信号と短時間露光信号とを合成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−７５０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されている画像合成方法は、合成する２枚の画像の位置がずれていないことを前提にした合成方法である。被写体が移動した場合や、撮影者の手ぶれにより合成する２枚の画像に位置ずれが生じた場合は、合成後の画像の階調特性が不連続となる領域が発生する。これにより、この不連続となった領域が２重像に見えたりぶれて見えたりして不自然な画像として合成されるという問題がある。
【０００５】
本発明は前述の問題点に鑑み、被写体がわずかに移動した複数枚の画像からきれいな合成画像を生成できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出手段と、前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出手段と、前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出手段と、前記明るさ評価値算出手段、前記動き評価値算出手段および前記コントラスト評価値算出手段によって算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出手段と、前記合成比率算出手段によって算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被写体がわずかに移動した場合であっても、被写体がわずかにずれた複数枚の画像からきれいな合成画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置の内部構成例を示すブロック図である。
【図２】明るさ評価値算出回路の詳細な構成例を示すブロック図である。
【図３】各露光信号の信号レベルの関係および入射光量と制御係数との関係を示す図である。
【図４】横方向の座標位置とそれぞれの露光信号の信号レベルとの関係を示す図である。
【図５】動き評価値算出回路の詳細な構成例を示すブロック図である。
【図６】コントラスト評価値算出回路の詳細な構成例を示すブロック図である。
【図７】露光信号の信号レベルとコントラスト検出フラグとを説明するための図である。
【図８】動き評価値およびコントラスト評価値と制御係数との関係を示す図である。
【図９】第１の実施形態における合成処理手順の一例を示すフローチャートである。
【図１０】短時間露光信号で撮影した画像を非基準画像とした場合の階調特性が非連続になる箇所を説明するための図である。
【図１１】第２の実施形態に係る画像処理装置の内部構成例を示すブロック図である。
【図１２】合成する画像の枚数と合成比率との関係を示す図である。
【図１３】第２の実施形態における合成処理手順の一例を示すフローチャートである。
【図１４】横方向の座標位置とそれぞれの画像信号の信号レベルとの関係を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、以下の説明では、デジタルカメラで晴天時に屋外で人物を撮影する際に、人物に露出を合わせると背景の空や雲が白飛びし、木陰が黒潰れしてしまう問題に対応することを想定している。そこで、露出の条件が異なる２枚の画像を合成することにより、暗い被写体は高露出の画像で置き換え、明るい被写体は低露出の画像で置き換えることによりダイナミックレンジが拡大された合成画像を作成するものとする。本実施形態では、露出の条件が異なる２枚の画像の位置が少しずれてしまった場合の例について説明する。
【００１０】
図１は、本実施形態に係る画像処理装置１００の内部構成例を示すブロック図である。
図１において、第１の入力端子１０１は、露光時間の長い長時間露光信号ＳLを入力するための端子である。第２の入力端子１０２は、長時間露光信号ＳLよりも露光時間の短い短時間露光信号ＳSを入力するための端子である。増幅回路１０３は、短時間露光信号ＳSの信号レベルを長時間露光信号ＳLの信号レベルまで増幅してレベル補正後の短時間露光信号ＳS'を出力する。
【００１１】
明るさ評価値算出回路１０４は、入力される長時間露光信号ＳLまたは補正後の短時間露光信号ＳS'のどちらかの信号レベルに応じて明るさ評価値を算出する。第１の合成比率算出回路１０５は、明るさ評価値算出回路１０４から出力された明るさ評価値に応じて、長時間露光信号ＳLと補正後の短時間露光信号ＳS'との合成比率を算出する。
【００１２】
動き評価値算出回路１０６は、入力される長時間露光信号ＳLと補正後の短時間露光信号ＳS'との差分を取ることにより、動き評価値を算出する。コントラスト評価値算出回路１０７は、入力される長時間露光信号ＳLおよびレベル補正後の短時間露光信号ＳS'のコントラスト評価値を算出する。第２の合成比率算出回路１０８は、動き評価値算出回路１０６から出力される動き評価値と、コントラスト評価値算出回路１０７から出力されるコントラスト評価値とに応じて、長時間露光信号ＳLと補正後の短時間露光信号ＳS'との合成比率を算出する。
【００１３】
第３の合成比率算出回路１０９は、第１の合成比率算出回路１０５および第２の合成比率算出回路１０８の算出結果に応じて最終的な長時間露光信号ＳLと補正後の短時間露光信号ＳS'との合成比率を算出する。画像合成回路１１０は、第３の合成比率算出回路１０９で算出された合成比率に基づき、長時間露光信号ＳLと補正後の短時間露光信号ＳS'とを合成する処理を行う。出力端子１１１は、画像合成回路１１０で合成した合成画像を出力するための端子である。制御部１１２は例えばＣＰＵであり、上記各回路を制御する。
【００１４】
以下、個々の回路について、詳細に説明する。
【００１５】
（明るさ評価値算出回路１０４）
図２は、明るさ評価値算出回路１０４の詳細な構成例を示すブロック図である。
図２において、第１の入力端子２０１は、長時間露光信号ＳLを入力するための端子である。第２の入力端子２０２は、レベル補正後の短時間露光信号ＳS'を入力するための端子である。
【００１６】
セレクタ２０３は、長時間露光信号ＳLおよびレベル補正後の短時間露光信号ＳS'のうち、明るさ評価値を求める際の基準画像をどちらの露出による信号にするかを選択する。本実施形態においては、長時間露光信号ＳLを基準画像として長時間露光信号ＳLの明るさ評価値を求める。ローパスフィルタ（ＬＰＦ）２０４は、平滑化処理を行ってノイズ等による影響を除去する。例えば、３×３画素のデータに対し、フィルタ係数１２１のデジタルフィルタを用いて平滑化処理する。出力端子２０５は、平滑化処理が行われた信号を出力するための端子である。
【００１７】
（第１の合成比率算出回路１０５）
第１の合成比率算出回路１０５は、明るさ評価値算出回路１０４で算出した明るさ評価値に基づいて制御信号Ｋbrightを生成し、入力された長時間露光信号ＳLとレベル補正後の短時間露光信号ＳS'との合成比率を算出する。
【００１８】
図３（ａ）は、長時間露光信号ＳL、短時間露光信号ＳS、およびレベル補正後の短時間露光信号ＳS'の信号レベルの関係を示す図である。図３（ａ）において、横軸は入射光量を示し、縦軸は信号レベルを示す。また、長時間露光信号ＳLを実線で表し、短時間露光信号ＳSを点線で表し、さらにレベル補正した短時間露光信号ＳS'を破線で表す。また、横軸で示した入射光量を明るさ評価値として４つの範囲に分け、入射光量の小さい方から順に範囲Ｐ1、Ｐ2、Ｐ3、Ｐ4として以下に説明する。
【００１９】
範囲Ｐ4は、長時間露光信号ＳLが飽和している範囲を示している。長時間露光信号ＳLおよびレベル補正後の短時間露光信号ＳS'は、長時間露光信号ＳLが飽和している範囲Ｐ4よりも小さい範囲Ｐ1〜Ｐ3において信号レベルが同じになる。
【００２０】
ここで、長時間露光信号ＳLは露光量の大きい信号であり、入射光量が小さくて暗い被写体の場合においては信号レベルが高いが、入射光量が大きくて明るい被写体の場合においては信号レベルが飽和してしまうという特徴がある。一方、短時間露光信号ＳSは露光量の小さい信号であり、入射光量が小さくて暗い被写体の場合においては信号レベルが低くなるが、入射光量が大きく明るい被写体においては飽和しにくいという特徴がある。
【００２１】
図３（ｂ）は、第１の合成比率算出回路１０５において生成する制御信号Ｋbrightと長時間露光信号ＳLとの関係を示す。制御信号Ｋbrightは、図３（ｂ）に示すように長時間露光信号ＳLの信号レベルの大きさに応じて０〜１の範囲で制御され、入力される長時間露光信号ＳLが大きくなれば大きく、小さくなれば小さくなるよう制御される。
【００２２】
例えば、入射光量が小さい範囲Ｐ1では制御信号Ｋbrightは０であり、第１の合成比率算出回路１０５のみで合成した場合の合成画像信号Ｓmixは長時間露光信号のみとなり、Ｓmix＝ＳLとなる。一方、入射光量が大きい範囲Ｐ3以降では、制御信号Ｋbrightは１であり、合成画像信号Ｓmixはレベル補正後の短時間露光信号ＳS'のみとなり、Ｓmix＝ＳS'となる。
【００２３】
また、入射光量の大きさが中間である範囲Ｐ2では、制御信号Ｋbrightは０から１までの値を長時間露光信号ＳLのレベルに応じて比例的に変化するよう制御される。第１の合成比率算出回路１０５で求める制御信号Ｋbrightは、レベル補正後の短時間露光信号ＳS'に乗算する合成比率の係数となり、一方の長時間露光信号ＳLには（１−Ｋbright）の係数が乗算される。仮に、第１の合成比率算出回路１０５のみにより長時間露光信号ＳLと短時間露光信号ＳS'との合成比率を算出して、合成画像を生成する場合には、合成画像信号Ｓmixは下記の式（１）から算出される。
Ｓmix＝ＳS'×Ｋbright＋ＳL×（１−Ｋbright）      ・・・（１）
【００２４】
例えば、図３（ａ）および図３（ｂ）に示すように、範囲Ｐ2における信号レベルの範囲がＬ1〜Ｌ3であった場合を想定する。この場合、信号レベルＬ1、Ｌ3の中間となる信号レベルＬ2の長時間露光信号ＳLが入力されると、第１の合成比率算出回路１０５は、短時間露光信号ＳS'に乗算する制御信号を０．５と算出する。そして、長時間露光信号ＳLに乗算する合成比率を１−Ｋbright＝０．５と算出する。同様に、例えば信号レベルＬ2、Ｌ3の中間である信号レベルＬ2.5の長時間露光信号ＳLが入力された場合には、第１の合成比率算出回路１０５は、短時間露光信号ＳS'に乗算する制御信号を０．７５と算出する。そして、長時間露光信号ＳLに乗算する合成比率を１−Ｋbright＝０．２５と算出する。
【００２５】
一方、第１の合成比率算出回路１０５で算出した合成比率のみにより、長時間露光信号ＳLと短時間露光信号ＳS'とを合成すると、合成画像の階調特性が不連続になる。次に、この問題について、図４を用いて説明する。
【００２６】
図４は、撮影対象の左側に入射光量の少ない暗い被写体があり、右側に入射光量の多い明るい被写体がある場合に、長時間露光信号ＳLで撮影した後に短時間露光信号ＳSで撮影した場合の横方向の座標位置と信号レベルとの関係を示す図である。図４において、横軸は横方向の座標位置を示し、縦軸は信号レベルを示している。また、長時間露光信号ＳLを実線で表し、レベル補正後の短時間露光信号ＳS'を破線で表し、合成画像信号Ｓmixを太線で表している。
【００２７】
図４（ａ）は、被写体が静止している場合の座標位置と信号レベルとの関係を示し、図４（ｂ）は、被写体が左から右へ移動した場合の座標位置と信号レベルとの関係を示している。なお、矢印は被写体の移動方向を示す。図４（ａ）に示す例では、被写体が静止しているため、低輝度部において長時間露光信号ＳLの信号レベルとレベル補正後の短時間露光信号ＳS'の信号レベルは同じとなり、合成しても階調性を保つことが可能である。
【００２８】
しかしながら、図４（ｂ）に示す例では、長時間露光信号ＳLで撮影してから短時間露光信号ＳSで撮影するまでの間に、時差により被写体が左から右へ移動してしまう。このため、長時間露光信号ＳLとレベル補正後の短時間露光信号ＳS'の信号レベルが異なってしまう。したがって、第１の合成比率算出回路１０５で算出した合成比率に基づいて合成すると、長時間露光信号ＳLの信号レベルが小さい時は長時間露光信号ＳLのみが合成画像として出力される。また、長時間露光信号ＳLの信号レベルが大きい時は、短時間露光信号ＳS'のみが合成画像として出力される。さらにはその中間領域では、長時間露光信号ＳLと短時間露光信号ＳS'とが図３（ｂ）に示した重み係数である制御信号Ｋbrightに基づいて合成されることになる。
【００２９】
この結果、合成画像信号Ｓmixの信号レベルは、図４（ｃ）に示すように、上がって下がるといった具合に階調特性が不連続となり、不自然な画像に合成されてしまうという問題が生じる。本実施形態では、図４（ｄ）に示すように、階調特性が不連続となる領域はどちらか一方の画像を合成画像として出力するよう制御することにより、自然な合成画像を得るようにする。
【００３０】
なお、図４に示した例では、被写体が左から右に移動した場合について説明したが、この方向に限ったことではなく、上下左右斜めどの方向に被写体が移動したとしても同様に階調特性が不連続となり、不自然な画像に合成されてしまう。そこで本実施形態においては、第１の合成比率算出回路１０５のみならず、後述する第２の合成比率算出回路１０８、および第３の合成比率算出回路１０９を備える構成とした。
【００３１】
（動き評価値算出回路１０６）
図５は、動き評価値算出回路１０６の詳細な構成例示すブロック図である。
図５において、第１の入力端子５０１は、長時間露光信号ＳLを入力するための端子である。第２の入力端子５０２は、レベル補正後の短時間露光信号ＳS'を入力するための端子である。
【００３２】
差分器５０３は、入力される長時間露光信号ＳLおよびレベル補正後の短時間露光信号ＳS'の信号レベルの差分値を画素毎に算出する。ＬＰＦ５０４は、平滑化処理を行うことによってノイズ等による影響を除去する。絶対値算出回路（ＡＢＳ）５０５は、ＬＰＦ５０４の出力値に対して、各々の画素を絶対値化する。出力端子５０６は、ＡＢＳ５０５の出力値を動き評価値として出力するための端子である。
【００３３】
なお、本実施形態では、動き評価値を求める際に、ランダムノイズ等の影響を除去するためにＬＰＦを用いて説明したが、ランダムノイズの影響を除外することができればこれに限るものではない。例えば、画像解析により、対象画素を中心とするブロックと画像内から収集したブロックとの類似度を重み係数として求め、各ブロックの中心画素の加重平均を取り、対象画素を置きかえてランダムノイズを低減するといった方法を用いてもよい。
【００３４】
（コントラスト評価値算出回路１０７）
図６は、コントラスト評価値算出回路１０７の詳細な構成例を示すブロック図である。
図６において、第１の入力端子６０１は、長時間露光信号ＳLを入力するための端子である。第２の入力端子６０２は、レベル補正後の短時間露光信号ＳS'を入力するための端子である。セレクタ６０３は、後述するコントラスト評価値の算出対象を１枚とするのか、２枚とするのかを選択する。算出対象を１枚とする場合は、明るさ評価値算出回路１０４において基準画像として選択した画像に対し、コントラスト評価値を求める。コントラスト評価値の算出対象を２枚とする場合は、長時間露光信号ＳLとレベル補正後の短時間露光信号ＳS'とで撮影した両画像からコントラスト評価値を求める。
【００３５】
バンドパスフィルタ（ＢＰＦ）６０４はデジタルフィルタであり、入力信号の高域周波数成分、低域周波数成分を取り除き、セレクタ６０３により選択された画像のコントラスト評価値を算出する。例えば、バンドパスフィルタとして、ソーベルフィルタ等が挙げられる。出力端子６０５は、ＢＰＦ６０４の出力値をコントラスト評価値として出力するための端子である。
【００３６】
次に、コントラスト評価値の算出対象を１枚だけでする場合と露出の異なる画像の両方の２枚とする場合との違いについて、図７を用いて説明する。図７は、撮影対象の左右に入射光量の少ない暗い被写体があり、中央に入射光量の多い明るい被写体がある場合に、長時間露光信号ＳLで撮影した後に短時間露光信号ＳSで撮影した場合の横方向の座標位置と信号レベルとの関係を示す図である。図７において、横軸は横方向の座標位置を示し、縦軸は信号レベルを示している。また、長時間露光信号ＳLを実線で表し、レベル補正後の短時間露光信号ＳS'を破線で表し、合成画像信号Ｓmixを太線で表している。
【００３７】
フラグ７０１は、１枚目の画像でコントラストを検出した場合のコントラスト検出フラグであり、コントラスト評価値がある閾値より高い場合に、１とするフラグである。一方、フラグ７０２は、２枚目の画像でコントラストを検出した場合のコントラスト検出フラグである。さらに、フラグ７０３は、コントラスト評価値の算出対象を２枚とし、フラグ７０１、７０２の差分によりコントラストを検出したフラグである。
【００３８】
コントラスト評価値の算出対象を１枚だけにしたフラグ７０１、７０２の検出範囲と比較して、コントラスト評価値の算出対象を２枚にしたフラグ７０３の検出範囲は狭くなる。そのため、合成画像信号Ｓmixの階調特性が非連続となる領域により絞った範囲を検出することが可能となる。このように、階調特性が非連続となる領域のみを検出し、その領域に対して合成比率を制御することが可能となる。
【００３９】
例えば、検出された領域に対してＳ／Ｎ比の劣る短時間露光信号ＳSの合成比率を高く制御する場合に、検出する範囲を狭めることが可能なため、全体的にＳ／Ｎ比の良い合成画像を得ることが可能となる。このように、エッジが理想的な被写体の場合は、２枚の画像をコントラスト評価値の算出対象とした方がＳ／Ｎ比の良い合成画像が得ることができる。一方、エッジが複雑に存在するような被写体の場合においては、１枚の基準画像からコントラスト評価値の算出した方がよい場合もある。コントラスト評価値の算出対象を２枚とするか１枚とするかは、ユーザが撮影前に液晶パネル等を用いて任意に設定することができる。
【００４０】
なお、本実施形態においてはＢＰＦ６０４において、階調性が不連続となった場合に不自然さが目立ってしまうエッジ領域を検出するために低域周波数成分の除去しており、さらに高周波のランダムノイズを除去するために高域周波数成分を除去している。一方、バンドパスフィルタを用いる以外に、例えば、周辺画素との輝度比からコントラスト評価値を求めるなど、被写体のコントラストと関連する評価値を求めることができれば他の方法でもよい。
【００４１】
（第２の合成比率算出回路１０８）
第２の合成比率算出回路１０８は、動き評価値算出回路１０６により算出された動き評価値とコントラスト評価値算出回路１０７により算出されたコントラスト評価値とを入力する。そして、これらの評価値に基づいて制御信号ＫMCを生成し、入力された長時間露光信号ＳLとレベル補正後の短時間露光信号ＳS'との合成比率を算出する。
【００４２】
図８（ａ）は、動き評価値と動きによる合成比率の制御信号ＫMとの関係を示す図である。図８（ａ）において、横軸は動き評価値を示し、縦軸は動きによる合成比率の制御信号ＫMを示している。横軸で示した動き評価値を３つの範囲に分け、動き評価値の小さい方から順に範囲Ｍ0、Ｍ1、Ｍ2として以下に説明する。
【００４３】
動き評価値が範囲Ｍ0においては、制御信号ＫMは０となる。動き評価値が小さい範囲Ｍ0において制御信号ＫMを０とすることにより、ノイズによる動き評価値の誤検出の影響を防ぐことが可能となる。また、動き評価値が範囲Ｍ1においては、動き評価値と制御信号ＫMとが０〜１の範囲で比例の関係にあり、動き評価値が範囲Ｍ2以降では、制御信号ＫMは１となるよう制御される。
【００４４】
図８（ｂ）は、コントラスト評価値とコントラストによる合成比率の制御信号ＫCとの関係を示す図である。図８（ｂ）において、横軸はコントラスト評価値を示し、縦軸はコントラストによる合成比率の制御信号ＫCを示している。横軸で示したコントラスト評価値を３つの範囲に分け、コントラスト評価値の小さい方から順に範囲Ｃ0、Ｃ1、Ｃ2として以下に説明する。
【００４５】
コントラスト評価値が範囲Ｃ0においては、制御信号ＫCは０となる。コントラスト評価値が小さい範囲Ｃ0において制御信号ＫCを０とすることにより、ノイズによるコントラスト評価値の誤検出の影響を防ぐことが可能となる。また、コントラスト評価値が範囲Ｃ1においては、コントラスト評価値と制御信号ＫCとが０〜１の範囲で比例の関係にあり、コントラスト評価値が範囲Ｃ2以降では、制御信号ＫCは１となるよう制御される。
【００４６】
また、動き評価値から求めた制御信号ＫMの値が大きくなればなるほど長時間露光信号ＳLよりもＳ／Ｎ比の悪い短時間露光時間ＳS'の合成比率を高くしてしまうこととなる。この結果、不連続な階調特性になるのを防ぐことができたとしても結果的に合成画像のＳ／Ｎ比が悪くなってしまうという弊害が考えられる。本実施形態においては、こういった弊害を防ぐために、第２の合成比率算出回路１０８は、動き評価値により求めた制御信号ＫMとコントラスト評価値により求めた制御信号ＫCとを乗算することにより、制御信号ＫMCを算出する。すなわち、以下の式（２）により制御信号ＫMCが算出される。
ＫMC＝ＫM×ＫC      ・・・（２）
【００４７】
動き評価値による制御信号ＫMに、コントラスト評価値による制御信号ＫCを乗算する理由は、例えば、被写体がわずかに動いてしまう場合などを想定しているからである。合成する画像同士に位置ずれが生じた場合に、動き評価値により求めた制御信号ＫMが大きくなったとしても、コントラスト評価値が小さければ制御信号ＫCの値は小さくなり、制御信号ＫM、ＫCを乗算して得られる制御信号ＫMCの値は小さくなる。コントラスト評価値が小さい被写体においては、合成する各々の画像に多少の位置ずれが生じたとしても合成後の合成画像の階調の不連続性はコントラスト評価値が高い領域と比較して目立ちにくく影響が小さい。このような領域においては、Ｓ／Ｎ比の良い長時間露光信号ＳLの合成比率を高くすることにより合成後の合成画像のＳ／Ｎ比を良くし、結果的に自然な合成画像を得ることが可能となる。
【００４８】
（第３の合成比率算出回路１０９）
第３の合成比率算出回路１０９は、第１の合成比率算出回路１０５により算出された制御信号Ｋbrightと第２の合成比率算出回路１０８により算出された制御信号ＫMCとに基づいて制御信号ＫFIXを生成する。そして、入力された長時間露光信号ＳLとレベル補正後の短時間露光信号ＳS'との合成比率を算出する。
【００４９】
第３の合成比率算出回路１０９の制御信号ＫFIXは、第１の合成比率算出回路１０５による制御信号Ｋbrightと第２の合成比率算出回路１０８による制御信号ＫMCとを加算することにより算出される。すなわち、以下の式（３）により制御信号ＫFIXが算出される。
ＫFIX＝Ｋbright＋ＫMC      ・・・（３）
【００５０】
本実施形態においては、制御信号Ｋbright、ＫMCを加算することにより最終的な合成比率となる制御信号ＫFIXを算出した。一方、明るさにより算出した制御信号Ｋbrightと、動き評価値およびコントラス評価値により算出した制御信号ＫMCとの両者に基づいて最終的な制御信号を算出するのであればこれに限るものではない。例えば、制御信号Ｋbright、ＫMCを乗算することにより制御信号ＫFIXを算出してもよい。
【００５１】
（画像合成回路１１０）
画像合成回路１１０は、第３の合成比率算出回路１０９で算出された合成比率の制御信号ＫFIXに応じて、長時間露光信号ＳLと短時間露光信号ＳS'とを合成する。すなわち、合成画像信号Ｓmixは以下の式（４）により算出される。
Ｓmix＝ＳS'×ＫFIX＋ＳL×（１−ＫFIX）      ・・・（４）
【００５２】
（画像処理装置１００の動作手順）
図９は、本実施形態に係る画像処理装置１００による合成処理手順の一例を示すフローチャートである。
まず、ステップＳ９０１において、制御部１１２により所持している値の初期化を行う。具体的には、第１の合成比率算出回路１０５、第２の合成比率算出回路１０８、および第３の合成比率算出回路１０９の各々の合成比率の算出結果を０に初期化する。
【００５３】
次に、ステップＳ９０２において、制御部１１２により、長時間露光信号ＳLにより露光された画像と短時間露光信号ＳSにより露光された画像とのうち、どちらの画像を、制御信号を求める基準画像とするかを選定する。以下の説明では、長時間露光信号ＳLにより露光された画像を基準画像と選定し、短時間露光信号ＳSを非基準画像と選定した例について説明する。
【００５４】
次に、ステップＳ９０３において、制御部１１２は、入力された長時間露光信号ＳLと短時間露光信号ＳSとで信号レベルが異なるかどうかを判定する。この判定の結果、信号レベルが異なる場合はステップＳ９０４に進み、信号レベルが同じである場合には、ステップＳ９０５に進む。ステップＳ９０４においては、増幅回路１０３により、短時間露光信号ＳSを長時間露光信号ＳLの信号レベルにレベルが合うようレベル補正して短時間露光信号ＳS'を出力する。
【００５５】
次に、ステップＳ９０５において、明るさ評価値算出回路１０４により、明るさ評価値を算出する。そして、ステップＳ９０６において、第１の合成比率算出回路１０５により、長時間露光信号ＳLと短時間露光信号ＳS'との合成比率を算出する。なお、増幅回路１０３によりレベル補正していない場合は、長時間露光信号ＳLと短時間露光信号ＳSとの合成比率を算出する。以下の説明では、増幅回路１０３によりレベル補正しているものとして説明する。
【００５６】
次に、ステップＳ９０７において、動き評価値算出回路１０６により、動き評価値を算出する。そして、ステップＳ９０８において、制御部１１２は、コントラスト評価値の算出対象が１枚の画像に設定されているか２枚の画像に設定されているかを判定する。コントラスト評価値を算出するための算出対象の画像数は、ユーザが撮影前に事前にデジタルカメラの液晶パネル等を用いて設定可能である。この判定の結果、コントラスト評価値を算出する対象が１枚であった場合にはステップＳ９０９に進み、２枚であった場合には、ステップＳ９１０に進む。
【００５７】
ステップＳ９０９においては、コントラスト評価値算出回路１０７において、基準画像のみからコントラスト評価値を算出する。一方、ステップＳ９１０においては、コントラスト評価値算出回路１０７において、まず、基準画像及び非基準画像のコントラスト評価値を各々算出する。そして、ステップＳ９１１において、基準画像及び非基準画像のコントラスト評価値の差分を算出する。
【００５８】
なお、本実施形態では、検出された領域に対してＳ／Ｎ比の劣る短時間露光信号ＳS'の合成比率を高くする制御方法について説明した。逆に長時間露光信号ＳLの合成比率を高くするよう制御すると、長時間露光信号ＳLが白飛びしていると、合成画像が白飛びしてしまう。白飛びした画像でなければ、どちらの画像の合成比率を高くしても大きな差は生じない。そこで、白飛びをしているかどうか入力画素値の画素レベルを飽和判定し、白飛びしていた場合に、短時間露光信号ＳS'の合成比率を高く制御するという機能を持たせてもよい。
【００５９】
次に、ステップＳ９１２において、第２の合成比率算出回路１０８は、ステップＳ９０７で求めた動き評価値と、ステップＳ９０９又はＳ９１１で求めたコントラスト評価値とに応じて、制御信号ＫMCを算出する。そして、ステップＳ９１３において、第３の合成比率算出回路１０９により、長時間露光信号ＳLと短時間露光信号ＳS'との最終的な合成比率を算出する。例えば、ステップＳ９０６により制御信号Ｋbright＝０．２５と算出され、ステップＳ９１２において第２の合成比率算出回路１０８により制御信号ＫMC＝０．３と算出された場合を考える。この場合、短時間露光信号ＳS'の合成比率を制御信号ＫFIX＝０．２５＋０．３＝０．５５とし、長時間露光信号ＳLの合成比率を１−０．５５＝０．４５と算出する。
【００６０】
次に、ステップＳ９１４において、画像合成回路１１０は、第３の合成比率算出回路１０９で算出した長時間露光信号ＳLと短時間露光信号ＳS'との合成比率に基づいて画像を合成する。
【００６１】
以上のように本実施形態によれば、明るさ評価値に応じた合成比率と、動き評価値およびコントラスト評価値に応じた合成比率とを加算することにより最終的な合成比率を制御する構成とした。これにより、複数枚の画像を合成する際に、被写体が移動してしまった場合や、撮影者の手ぶれによりカメラが動いてしまった場合に、階調特性の連続性を保ち、見えの自然な合成画像を生成することが可能となる。
【００６２】
なお、本実施形態においては、コントラスト評価値算出回路１０７において、コントラスト評価値の算出対象の画像数をユーザが設定可能としたが、他の方法を用いてもよい。例えば、被写体の絵柄を画像解析することにより制御部１１２が切り替えるような構成としても構わない。
【００６３】
また、本実施形態においては、ステップＳ９０２において、長時間露光信号ＳLで撮影した画像を基準画像とし、短時間露光信号ＳSで撮影した画像を非基準画像として説明した。一方、短時間露光信号ＳSで撮影した画像を基準画像、長時間露光信号ＳLで撮影した画像を非基準画像としても構わない。その場合は、図１０に示すように、階調特性が非連続になる箇所が図４と異なるため、第３の合成比率算出回路１０９で求める制御信号ＫFIXは、長時間露光信号ＳLを基準画像とした場合と、非基準画像とした場合とで、逆の比率となる。本実施形態では、長時間露光信号ＳLを基準画像とした場合は、コントラスト評価値算出回路１０７は検出した領域を短時間露光信号ＳSの比率が高くなるよう制御した。これに対して、短時間露光信号ＳSを基準画像とした場合は、コントラスト評価値算出回路１０７で検出した領域を長時間露光信号ＳLの比率が高くなるよう制御する。
【００６４】
さらに本実施形態においては、２枚の画像を合成する場合について説明したが、これに限ったものではなく、３枚以上の画像を合成することも可能である。例えば、３枚の画像Ａ〜Ｃから最終的な合成画像を生成する場合は、２枚の画像Ａ、Ｂを合成して合成画像を生成した後に、この合成画像と画像Ｃとを合成して最終的な合成画像を生成する。
【００６５】
（第２の実施形態）
第１の実施形態においては、露出の異なる２枚の画像を合成する例について説明したが、本実施形態においては、露出が同一である画像を２枚以上用いて合成処理を行う例について説明する。例えば、デジタルカメラで夜景シーンを高速連写で撮影して合成する場合などが該当する。以下、撮影した順番により、１枚目、２枚目・・・ｎ枚目という表現を用いて説明する。また、本実施形態は、基本的な構成は第１の実施形態と共通であり、以下の説明においては、第１の実施形態との差異点である内部構成とフローチャートとについて説明する。
【００６６】
図１１は、本実施形態に係る画像処理装置１１００の内部構成例を示すブロック図である。第１の実施形態と異なる点は、入力される各信号の露出が同一である点、信号レベルを合わせるための増幅回路１０３がない点、および明るさ評価値を算出する明るさ評価値算出回路１０４がない点である。図１と同一の符号が付されている構成は、第１の実施形態と同様であるため説明は省略する。
【００６７】
（第１の合成比率算出回路１１０３）
第１の合成比率算出回路１１０３は、第１の入力端子１１０１から入力された画像信号Ｓ1と、第２の入力端子１１０２から入力された画像信号Ｓ2との制御信号Ｋ1を生成して合成比率を算出する。制御信号Ｋ1は０〜１の数値範囲であり、合成対象の画像の総枚数に応じて制御される。
【００６８】
第１の合成比率算出回路１１０３は、図１２に示すように、合成対象の画像全てを加算して合成比率が１となるよう制御する。例えば、合成対象枚数が２枚の場合には、制御信号Ｋ1は、１÷２＝０．５となり、入力される２枚の画像に対して各々０．５の制御信号となるよう制御する。例えば、合成対象枚数が４枚であった場合には、１÷４＝０．２５となり入力される４枚の画像に対して各々制御信号Ｋ1＝０．２５となるように、制御する。
【００６９】
次に、第１の合成比率算出回路１１０３で算出した合成比率のみにより、画像信号Ｓ1、Ｓ2を合成した場合に、合成画像の階調特性が不連続になる問題について図１４を用いて説明する。
【００７０】
図１４は、撮影対象の左側に入射光量の少ない暗い被写体があり、右側に入射光量の多い明るい被写体がある場合に、画像信号Ｓ1で撮影した後に、画像信号Ｓ2で撮影した場合の横方向の座標位置と信号レベルとの関係を示す図である。横軸は横方向の座標位置を示し、縦軸は信号レベルを示している。また、画像信号Ｓ1を実線で表し、画像信号Ｓ2を破線で表し、合成画像信号Ｓmixを太線で表している。
【００７１】
図１４（ａ）は、被写体が静止している場合を示しており、図１４（ｂ）は、被写体が左から右へ移動した場合を示している。
図１４（ａ）に示す例では、被写体が静止しているため、低輝度部において画像信号Ｓ1および画像信号Ｓ2の信号レベルは同じとなり、合成しても階調性を保つことが可能である。しかしながら、図１４（ｂ）に示す例では、画像信号Ｓ1で撮影してから画像信号Ｓ2で撮影するまでの間に、被写体が左から右へ移動したことにより、画像信号Ｓ1と画像信号Ｓ2の信号レベルが異なってしまう。このため、第１の合成比率算出回路１１０３で求めた合成比率に基づいて合成すると、合成画像信号Ｓmixの明るさ評価値は、図１４（ｃ）に示すように、線形な階調特性とはならない。その結果、不自然な画像に合成されてしまうという問題が生じる。
【００７２】
なお、図１４に示した例では、被写体が左から右に移動した場合について説明したが、この方向に限ったことではなく、上下左右斜めどの方向に被写体が移動したとしても同様に階調特性が不連続となり、不自然な画像に合成されてしまう。そこで本実施形態においても、図１４（ｄ）に示す結果となるように、第１の実施形態と同様に、第１の合成比率算出回路１１０３、第２の合成比率算出回路１０８、および第３の合成比率算出回路１０９で合成比率を算出する。
【００７３】
図１３は、本実施形態に係る画像処理装置１１００による合成処理手順の一例を示すフローチャートである。
まず、ステップＳ１３０１においては、図９のステップＳ９０１と同様であるため、説明は省略する。次に、ステップＳ１３０２において、第１の合成比率算出回路１１０３により、合成枚数に応じて画像信号Ｓ1および画像信号Ｓ2の合成比率を算出する。
【００７４】
次に、ステップＳ１３０３において、動き評価値算出回路１０６により、画像信号Ｓ1、Ｓ2のそれぞれについて動き評価値を算出する。そして、ステップＳ１３０４において、画像信号Ｓ1、Ｓ2のそれぞれについてコントラスト評価値を算出し、その差分を算出する。本実施形態では、コントラスト評価値の算出対象を２枚の画像とする。図１４（ｃ）に示すように、非連続となる領域が第１の実施形態のように１枚目の画像のエッジ領域範囲に納まらないため、本実施形態においては１枚目と２枚目との両画像からコントラスト評価値の高い領域を検出する必要がある。
【００７５】
次に、ステップＳ１３０５において、第２の合成比率算出回路１０８は、ステップＳ１３０３で求めた動き評価値、ステップＳ１３０４で求めたコントラスト評価値に応じて、制御信号ＫMCを算出する。そして、ステップＳ１３０６において、第３の合成比率算出回路１０９により、画像信号Ｓ1と画像信号Ｓ2の最終的な合成比率を算出する。
【００７６】
次に、ステップＳ１３０７において、画像合成回路１１０は、第３の合成比率算出回路１０９で算出した画像信号Ｓ1と画像信号Ｓ2との合成比率に基づいて画像を合成する。そして、ステップＳ１３０８において、合成する画像がもう存在しないか否かを判定する。この判定の結果、合成する画像が存在しない場合は合成処理を終了し、まだ合成していない画像が存在する場合はステップＳ１３０１に戻る。
【００７７】
ここで、合成処理を継続する場合には、画像信号Ｓ1として、ステップＳ１３０７の合成処理において１枚目と２枚目とを合成した合成画像が入力され、画像信号Ｓ2として３枚目の画像が入力されることとなる。例えば、Ｎ枚の合成をする際には、画像信号Ｓ1として１、２、３、・・・・、Ｎ−１枚目までの合成画像が入力され、画像信号Ｓ2としてＮ枚目の画像が入力されることとなる。
【００７８】
以上のように本実施形態によれば、合成する画像の総枚数に応じて合成比率を制御し、さらに動き評価値とコントラスト評価値とに応じて最終的な合成比率を制御するようにした。これにより、被写体が移動してしまった場合や、撮影者の手ぶれによりカメラが動いてしまった場合に階調特性が不連続となり不自然な合成画像となってしまう弊害を防ぎ、階調特性の連続性を保ち、見えの自然な合成画像を生成することができる。
【００７９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８０】
１０４  明るさ評価値算出回路
１０５  第１の合成比率算出回路
１０６  動き評価値算出回路
１０７  コントラスト評価値算出回路
１０８  第２の合成比率算出回路
１０９  第３の合成比率算出回路
１１０  画像合成回路
【図１】
2014229988.tif 000003
【図２】
2014229988.tif 000004
【図３】
2014229988.tif 000005
【図４】
2014229988.tif 000006
【図５】
2014229988.tif 000007
【図６】
2014229988.tif 000008
【図７】
2014229988.tif 000009
【図８】
2014229988.tif 000010
【図９】
2014229988.tif 000011
【図１０】
2014229988.tif 000012
【図１１】
2014229988.tif 000013
【図１２】
2014229988.tif 000014
【図１３】
2014229988.tif 000015
【図１４】
2014229988.tif 000016