"露光量を互いに異ならせて同一の被写体を複数回撮影した第1の複数の画像信号が入力され、露光量が異なることによる前記第1の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第1の複数の画像信号の内の少なくとも1つの画像信号の画素値を変換して、第2の複数の画像信号として出力する画素値変換部と、前記第2の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成する合成重み付け係数生成部と、前記第2の複数の画像信号の差分を生成する差分生成部と、前記第2の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成する重み付け合成部と、前記差分生成部によって生成された差分を評価して、差分が小さくなるように前記画素値変換係数を更新するパラメータ更新部と、を備えることを特徴とする画像処理装置。前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記合成重み付け係数を更新することを特徴とする請求項1記載の画像処理装置。前記境界部は複数の画素値の画素を含む領域であり、前記境界部の最も大きい画素値を上限値とし、前記境界部の最も小さい画素値を下限値としたとき、前記合成重み付け係数生成部は、前記第2の複数の画像信号における2つの画像信号を合成する合成重み付け係数として、前記上限値より大きい部分では前記2つの画像信号の内の一方の画像信号とし、前記下限値より小さい部分では前記2つの画像信号の内の他方の画像信号とし、前記上限値と前記下限値との間では、前記2つの画像信号をクロスフェードさせて混合させる合成重み付け係数を生成することを特徴とする請求項1または2に記載の画像処理装置。前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記上限値と前記下限値とを互いの間隔が狭くなるように更新し、前記合成重み付け係数生成部は、更新された前記上限値と前記下限値とに基づいて合成重み付け係数を生成することを特徴とする請求項2記載の画像処理装置。前記差分生成部は、前記2つの画像信号における一方の画像信号を基準としたとき、基準とした前記一方の画像信号が前記上限値と前記下限値との間で他方の画像信号の差分を生成することを特徴とする請求項3記載の画像処理装置。前記パラメータ更新部は、画面内の部分的な領域における前記第2の複数の画像信号の差分を評価することを特徴とする請求項1~5のいずれか1項に記載の画像処理装置。露光量を互いに異ならせて同一の被写体を複数回撮影して第1の複数の画像信号を生成し、露光量が異なることによる前記第1の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第1の複数の画像信号の内の少なくとも1つの画像信号の画素値を変換して、第2の複数の画像信号を生成し、前記第2の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成し、前記第2の複数の画像信号の差分を生成し、前記第2の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成し、前記差分を評価して、差分が小さくなるように前記画素値変換係数を更新することを特徴とする画像処理方法。特許文献1,2においては、複数枚の画像を合成する際に画像のヒストグラムを用いて合成する各画像の画素値の整合を図っている。ヒストグラムのような演算量の大きい処理を用い、高精度な演算を行うとすれば、回路規模が増大する。回路規模の増大はコストアップを招く。動画像を撮影するビデオカメラにおいて動画像を合成する場合には、被写体の状態は刻々と変化するため、被写体の変化に対応して素早く対応して境界部で画素値を整合させようとすると、高速の演算素子が必要となってしまう。演算量の大きい処理を高速で行おうとすれば、回路規模の増大とコストアップを避けることは難しい。本発明はこのような問題点に鑑み、回路規模や演算量をさほど増大させることなく、複数フレームの画像を合成する際の境界部での画素値を連続させることができ、視覚的に自然な広ダイナミックレンジ画像を生成することができる画像処理装置及び画像処理方法を提供することを目的とする。本発明は、上述した従来の技術の課題を解決するため、露光量を互いに異ならせて同一の被写体を複数回撮影した第1の複数の画像信号が入力され、露光量が異なることによる前記第1の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第1の複数の画像信号の内の少なくとも1つの画像信号の画素値を変換して、第2の複数の画像信号として出力する画素値変換部51と、前記第2の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成する合成重み付け係数生成部52と、前記第2の複数の画像信号の差分を生成する差分生成部53と、前記第2の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成する重み付け合成部54と、前記差分生成部によって生成された差分を評価して、差分が小さくなるように前記画素値変換係数を更新するパラメータ更新部11とを備えることを特徴とする画像処理装置を提供する。上記の構成において、前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記合成重み付け係数を更新することが好ましい。上記の構成において、前記境界部は複数の画素値の画素を含む領域であり、前記境界部の最も大きい画素値を上限値とし、前記境界部の最も小さい画素値を下限値としたとき、前記合成重み付け係数生成部は、前記第2の複数の画像信号における2つの画像信号を合成する合成重み付け係数として、前記上限値より大きい部分では前記2つの画像信号の内の一方の画像信号とし、前記下限値より小さい部分では前記2つの画像信号の内の他方の画像信号とし、前記上限値と前記下限値との間では、前記2つの画像信号をクロスフェードさせて混合させる合成重み付け係数を生成することが好ましい。上記の構成において、前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記上限値と前記下限値とを互いの間隔が狭くなるように更新し、前記合成重み付け係数生成部は、更新された前記上限値と前記下限値とに基づいて合成重み付け係数を生成することが好ましい。上記の構成において、前記差分生成部は、前記2つの画像信号における一方の画像信号を基準としたとき、基準とした前記一方の画像信号が前記上限値と前記下限値との間で他方の画像信号の差分を生成することが好ましい。前記パラメータ更新部は、画面内の部分的な領域における前記第2の複数の画像信号の差分を評価してもよい。また、本発明は、上述した従来の技術の課題を解決するため、露光量を互いに異ならせて同一の被写体を複数回撮影して第1の複数の画像信号を生成しS1、露光量が異なることによる前記第1の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第1の複数の画像信号の内の少なくとも1つの画像信号の画素値を変換して、第2の複数の画像信号を生成しS6、前記第2の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成しS7、前記第2の複数の画像信号の差分を生成し、前記第2の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成しS8、前記差分を評価して、差分が小さくなるように前記画素値変換係数を更新するS504ことを特徴とする画像処理方法を提供する。本発明の画像処理装置及び画像処理方法によれば、回路規模や演算量をさほど増大させることなく、複数フレームの画像を合成する際の境界部での画素値を連続させることができ、視覚的に自然な広ダイナミックレンジ画像を生成することが可能となる。以下、本発明の画像処理装置及び画像処理方法の各実施形態について、添付図面を参照して説明する。各実施形態は、ビデオカメラに画像処理装置を搭載した例を示している。<第1実施形態>図1において、ビデオカメラ101は、撮像部1,入力信号処理部2,多重露光画像出力部3,バッファメモリ4,多重露光画像合成部501,ダイナミックレンジ圧縮部6,バッファメモリ7,圧縮伸張処理部8,出力信号処理部9,表示部10,制御部11,RAM12,ROM13,記録再生部14,操作スイッチ15を備える。多重露光画像合成部501は、画素値変換部51,合成重み付け係数生成部52,差分生成部53,重み付け合成部54を備える。画素値変換部51は、画素値変換部51a,51bを含む。撮像部1は、レンズや絞り等の光学系、CCDやCMOS等の撮像素子、露出やピントの制御機構等を備えている。撮像部1は、レンズを介して撮像素子に入力された光情報を所定のタイミングで電気信号として取り出し、電気信号を入力信号処理部2に供給する。撮像部1は、制御部11による制御に基づいて、撮像素子のダイナミックレンジより広いダイナミックレンジの画像を生成するため、同一の被写体を異なる撮像条件で複数回に分けて撮影する、いわゆる多重露光を行う。第1実施形態では、異なる撮影条件として露光量を異ならせて撮影する。露光量を異ならせるためには、シャッタスピードを調節して露光時間を異ならせたり、絞り値を調節したり、両者を組み合わせたりすればよい。第1実施形態では、シャッタスピードを速くした短時間露光による画像と、シャッタスピードを遅くした長時間露光による画像との2枚の画像を撮影して、両者を合成するものとする。なお、長時間露光による撮影の際にフレームレートに合わせてシャッタスピードを固定とし、短時間露光画像の高輝度部分が大幅に飽和しないよう露出を制御しながら撮影をすることが好ましい。撮像部1は、短時間露光画像の電気信号と長時間露光画像の電気信号とをいずれかの順で入力信号処理部2に供給する。入力信号処理部2は、入力された電気信号をA/D変換し、RGBの3原色信号に変換して、ホワイトバランス調整,ゲイン調整,ガンマ処理等の各種の信号処理を施して、輝度信号Y及び色差信号Cb,Crに変換する。短時間露光画像の輝度信号Y及び色差信号Cb,Crと、長時間露光画像の輝度信号Y及び色差信号Cb,Crとは、多重露光画像出力部3に順次入力される。RGB信号を輝度信号Y及び色差信号Cb,Crに変換すると、データ量が削減されるので必要となるメモリ容量を削減することができる。この際、色差信号Cb,Crの帯域を制限して時間軸多重することにより、データ量をさらに削減することができる。多重露光画像出力部3は、先に入力された輝度信号Y及び色差信号Cb,Crを、バッファメモリ4を用いて1垂直走査期間だけ遅延させる。そして、多重露光画像出力部3は、短時間露光画像の輝度信号Y及び色差信号Cb,Cr以下、短時間露光画像データDaと称すると、長時間露光画像の輝度信号Y及び色差信号Cb,Cr以下、長時間露光画像データDbと称するとを同じタイミングに揃えて多重露光画像合成部501に供給する。この際、動きベクトルを用いてバッファメモリ4からのデータの読み出し開始アドレスを制御することにより、短時間露光画像データDa及び長時間露光画像データDbの画面ぶれを補正することが好ましい。短時間露光画像データDaは画素値変換部51aに入力され、長時間露光画像データDbは画素値変換部51bに入力される。画素値変換部51aには、制御部11によって画素値変換係数Coaが設定され、画素値変換部51bには、制御部11によって画素値変換係数Cobが設定される。画素値変換係数Coa,Cobは画像合成の際に用いるパラメータの1つである。以下、変換係数Coa,Cobと略記する。変換係数Coa,Cobは、後述するように、仮設定された変換係数から順次補正された変換係数へと変更されていく。変換係数Coa,Cobの一方を固定の変換係数とし、他方を順次補正された変換係数へと変更するようにしてもよい。第1実施形態では、短時間露光画像データDaに対する変換係数Coaを固定とし、長時間露光画像データDbに対する変換係数Cobを順次変更する。短時間露光画像データDa及び長時間露光画像データDbを例えば10ビットのデジタルデータであるとする。画素値変換部51aは、変換係数Coaに基づいて、入力された10ビットの短時間露光画像データDaを64倍して16ビットのデジタルデータに変換する。第1実施形態では、短時間露光画像の高輝度部分が大幅に飽和しないよう露出が制御されているため、短時間露光画像データDaの画素値を画像合成後のフルダイナミックレンジに正規化させるよう、変換係数Coaとして固定のゲイン値を設定している。図2Aは、16ビットに変換後の短時間露光画像データDa1の特性a1を示している。横軸は被写体の明るさ、縦軸は画素値輝度値である。画素値変換部51bは、まず、入力された10ビットの長時間露光画像データDbを16ビットのデジタルデータに変換する。図2Bは、16ビットに変換後の長時間露光画像データDb1の特性b1を示している。図2Bに示すように、長時間露光画像データDb1の特性b1は、所定の明るさ以上で画素値が飽和している特性である。画素値変換部51bは、次に、特性b1の非飽和領域の傾きを特性a1の傾きと一致させて、互いの画素値を合わせるために、特性b1を短時間露光画像データDaDa1と長時間露光画像データDbDb1との露光量比に応じて画素値を変換して特性b2の長時間露光画像データDb2とする。長時間露光画像データDbの露光量が短時間露光画像データDaの露光量のn倍であれば、特性b1の画素値を1/n倍すればよい。長時間露光画像データDb1の画素値を露光量比に応じて変換するのは、上記のように正規化した短時間露光画像データDa1の領域に、長時間露光画像データDb2をマッピングさせるためである。長時間露光画像データDbに対する変換係数Cobは、ビット数変換及び露光量比に応じて画素値を変換するための変換係数である。画素値変換部51a,51bが短時間露光画像データDa及び長時間露光画像データDbを10ビットから16ビットに変換するのは必須ではない。画素値変換部51a,51bは、少なくとも、短時間露光画像データDaと長時間露光画像データDbとの一方を基準として、被写体の明るさに対する画素値の特性の傾きを一致させて互いの画素値を合わせるよう、露光量比に応じて画素値を変換すればよい。図2A,Bでは、ガンマ補正を省略して特性a1を直線で、特性b1,b2を直線の折れ線にて示しているが、実際には、画素値変換部51a,51bに入力される短時間露光画像データDa及び長時間露光画像データDbはガンマ補正が施されている。そこで、制御部11は、短時間露光画像データDa及び長時間露光画像データDbそれぞれ標準ガンマ変換による画素値の変化量を求める。制御部11は、求めた変化量に基づいて仮の補正値を設定し、露光量比をゲインとした変換係数Cobに対して仮の補正値を加えて変換係数Cobを補正する。図3を用いて、ガンマ補正を考慮した変換係数Cobの補正について説明する。図3は、図2A,Bにおける合成の境界部であるポイントPa,Pbの近傍を拡大して示している。図3では、ガンマ補正が施された状態の特性a1,b2を示している。特性b2は、補正値を加えていない状態の変換係数Cobによって画素値が変換された長時間露光画像データDb2の特性である。制御部11は、短時間露光画像データDa1と長時間露光画像データDb2とを合成する際の境界部を設ける範囲として、高輝度側の上限値ThHと低輝度側の下限値ThLを設定する。境界部は、上限値ThHを最大の画素値、下限値ThLを最小の画素値として、複数の画素値の画素を含む領域となっている。図2A,Bでは便宜上ポイントPa,Pbで合成するように示しているが、短時間露光画像データDa1と長時間露光画像データDb2とは、上限値ThHと下限値ThLとの間の境界部を合成領域として合成される。上限値ThHと下限値ThLは、画像合成の際に用いるパラメータの1つである。一例として、初期の仮設定として、特性b2の飽和領域の画素値に対して、3/4を上限値ThHに、1/2を下限値ThLに設定する。飽和領域の画素値は厳密には一定値ではないが、適宜設定すればよい。画素値変換部51a,51bで設定している変換係数Coa,Cobの比によって長時間露光画像データDb2のデータが取り得る範囲を算出でき、飽和領域の画素値も算出することができる。従って、制御部11は、上限値ThHと下限値ThLとをそれぞれ適切な画素値に設定することができる。後述するように、上限値ThHと下限値ThLは合成領域を順次狭くするように補正される。第1実施形態においては、特性b2で示す長時間露光画像データDb2を上限値ThHと下限値ThLとの中央の画素値に近付けた特性b20とするよう、変換係数Cobを補正する。なお、図3の横軸に示す被写体の明るさによって中央の画素値に補正する補正量が異なるが、平均値として中央の画素値に変位させるような補正量とすればよい。画素値変換部51a,51bにおいて、短時間露光画像データDaと長時間露光画像データDbとの一方をオフセットさせて画素値を変換することもある。同一の被写体を異なる撮像条件で3回以上に分けて撮影して合成する場合には、ゲインの変更のみでは画素値を整合させることが困難な場合がある。この場合には、画素値のオフセットを併用することが好ましい。多重露光画像合成部501は、以上のように画素値が変換された短時間露光画像データDa1と長時間露光画像データDb2とを合成する。概念的には、多重露光画像合成部501は、図2Bに示す長時間露光画像データDb2の特性b2における画素値0から所定のポイントPbの画素値までの領域ARbと、図2Aに示す短時間露光画像データDa1の特性a1におけるポイントPaの画素値以上の領域ARaとを合成する。領域ARbは図3における特性b20の実線部分に相当し、領域ARaは特性a1の実線部分に相当する。多重露光画像合成部501は、後述する動作によってポイントPaの画素値とポイントPbの画素値とを極力一致させるようにして、境界部での画素値を連続させる。画素値変換部51a,51bより出力された画素値が変換された短時間露光画像データDa1及び長時間露光画像データDb2は、合成重み付け係数生成部52,差分生成部53,重み付け合成部54に入力される。合成重み付け係数生成部52は、短時間露光画像データDa1と長時間露光画像データDb2とを合成する際に用いる合成重み付け係数を生成する。短時間露光画像データDa1に対する合成重み付け係数を合成重み付け係数Wa、長時間露光画像データDb2に対する合成重み付け係数を合成重み付け係数Wbとする。合成重み付け係数Wa,Wbは、画像合成の際に用いるパラメータの1つである。合成重み付け係数生成部52には、制御部11より上限値ThHと下限値ThLとが入力される。合成重み付け係数生成部52は、短時間露光画像データDa1と長時間露光画像データDb2との一方を基準として、合成重み付け係数Waと合成重み付け係数Wbとを生成する。まず、長時間露光画像データDb2を基準とした場合について説明する。長時間露光画像データDb2におけるフレーム内の画素の位置をi,jとし、それぞれの位置i,jにおける画素値をYbi,jとする。ここでの画素値は輝度値である。それぞれの画素の位置i,jにおける合成重み付け係数Wb,Waは次の1,2式で表すことができる。短時間露光画像データDa1を基準とした場合には、短時間露光画像データDa1におけるフレーム内の画素の位置を同様にi,jとし、それぞれの位置i,jにおける画素値輝度値をYai,jとする。それぞれの画素の位置i,jにおける合成重み付け係数Waと合成重み付け係数Wbは次の3,4式で表すことができる。基準とする画像信号は、長時間露光画像データDb2と短時間露光画像データDa1とのいずれでもよい。即ち、合成重み付け係数Wa,Wbを、1,2式で求めてもよいし、3,4式で求めてもよい。以上のように求めた合成重み付け係数Wa,Wbは、重み付け合成部54に入力される。差分生成部53は、入力された短時間露光画像データDa1と長時間露光画像データDb2との輝度信号Yの差分値を生成する。制御部11は、差分値に対して正の閾値と負の閾値を設定している。差分生成部53は、正の閾値と負の閾値それぞれを超えた差分値をカウントし、差分カウント値Ddfcを生成する。図3を用いて差分生成部53における差分生成動作について説明する。差分生成部53は、短時間露光画像データDa1と長時間露光画像データDb2との内のいずれか一方を基準として両者の差分を求める。この際、制御部11から入力される上限値ThHと下限値ThLとの範囲内で差分を求めることが好ましい。短時間露光画像データDa1を基準とした場合、差分生成部53は、図3に示すように、特性a1で示す短時間露光画像データDa1の下限値ThLに相当するポイントPa1の画素値輝度値から上限値ThHに相当するポイントPa2の画素値輝度値までの範囲で、特性b20で示す長時間露光画像データDb2とのフレーム内の画素の位置ごとの差分を求める。差分生成部53は、ポイントPa1の画素値から、ポイントPa1に対応したフレーム内の画素の位置である長時間露光画像データDb2のポイントPb1の画素値を減算して差分値を求める。上記は一例として対応した画素位置における長時間露光画像データDb2の画素値がPb1であった場合についての説明である。同様に、差分生成部53は、ポイントPa2の画素値から、ポイントPa2に対応したフレーム内の画素の位置である長時間露光画像データDb2のポイントPb2の画素値を減算して差分値を求める。上記は一例として対応した画素位置における長時間露光画像データDb2の画素値がPb2であった場合についての説明である。図3では図示を省略しているが、差分生成部53は、ポイントPa1とポイントPa2との間に位置しているそれぞれの画素に対しても差分値を求める。差分生成部53はこのようにして求めた差分値に基づいて、正の閾値と負の閾値それぞれを超えた差分カウント値Ddfcを生成する。上限値ThHと下限値ThLとの間の合成領域で差分カウント値Ddfcを生成するのは、上記のように標準ガンマ変換による画素値の変化量に基づいて仮に設定した補正値を加えた変換係数Cobが適切であるか否かを判断するためである。差分カウント値Ddfcが大きければ、合成領域において、特性a1で示す短時間露光画像データDa1と特性b20で示す長時間露光画像データDb2とがずれていることを示している。この場合には、変換係数Cobをさらに補正することが必要となる。差分生成部53が上限値ThHと下限値ThLとの間の合成領域のみで差分値を生成して差分カウント値Ddfcを求めることにより、合成領域以外の誤差を除外して、合成領域における差分を正確に求めることができる。また、不必要な部分の差分を求めないので計算が簡略化され、データ量を削減することも可能となる。差分生成部53が生成した差分カウント値Ddfcは制御部11に入力される。制御部11は、短時間露光画像データDa1と長時間露光画像データDb2との差分が大きいか否かを判断する一例として、上記のように求めた差分カウント値Ddfcを用いる。差分カウント値Ddfcが大きければ、短時間露光画像データDa1と長時間露光画像データDb2とがずれていることになる。制御部11は、差分カウント値Ddfcに応じて画素値変換部51bに供給する変換係数Cobを補正する。変換係数Cobを補正した結果、カウント値が小さくなる方向に変化した場合には、制御部11は、上限値ThHと下限値ThLとの互いの間隔が狭くなるように、上限値ThHに下限値ThLを近付けるように更新する。上限値ThHと下限値ThLとが更新されると、合成重み付け係数生成部52で生成する合成重み付け係数Wa,Wbが更新される。制御部11は、変換係数Cob、上限値ThHと下限値ThL、合成重み付け係数Wa,Wbの各パラメータを更新するパラメータ更新部として動作している。重み付け合成部54は、画素値変換部51a,51bより供給された短時間露光画像データDa1と長時間露光画像データDb2とを、合成重み付け係数Wa,Wbとを用いて重み付け合成する。図4は、重み付け合成部54における重み付け合成を概念的に示している。横軸は画素値、縦軸は混合比である。即ち、合成重み付け係数Wa,Wbを1,2式で生成した場合を示している。混合比1は100であり、短時間露光画像データDa1と長時間露光画像データDb2との一方のみを用いることを示す。重み付け合成部54は、図4に示すように、画素値が0から下限値ThLまでは長時間露光画像データDb2実線のみとし、下限値ThLから上限値ThHまでは長時間露光画像データDb2が1から0となるまで順次減少させる一方で短時間露光画像データDa1破線を0から1まで順次増加させるように混合する。重み付け合成部54は、上限値ThHを超えたら、短時間露光画像データDa1のみとする。なお、1,3式におけるYbi,jがThL以上ThH以下で用いる式は図4における短時間露光画像データDa1と長時間露光画像データDb2とをクロスフェードさせる際の傾きを表す。なお、重み付け合成部54は、短時間露光画像データDa1と長時間露光画像データDb2とを、輝度信号Yと色差信号Cb,Crそれぞれで合成重み付け係数Wa,Wbを用いて重み付け合成する。輝度信号Yに基づいて生成した合成重み付け係数Wa,Wbを色差信号Cb,Crの合成にも用いればよい。制御部11は、上記のように直前のフレームにおいて評価した差分カウント値Ddfcによって変換係数Cobを補正し、上限値ThHと下限値ThLとを更新し、合成重み付け係数Wa,Wbを更新する動作を合成画像のフレーム単位で繰り返す。すると、変換係数Cobは順次最適化されていき、上限値ThHと下限値ThLとの間の合成領域で短時間露光画像データDa1と長時間露光画像データDb2との画素値は順次近付いていく。しかも、合成領域が順次狭くなっていくことから、短時間露光画像データDa1と長時間露光画像データDb2とは上限値ThHと下限値ThLとの中央部の極めて狭い範囲で混合される。これにより、合成画像は境界部での画素値が連続して、自然な広ダイナミックレンジ画像となる。図1に戻り、重み付け合成部54より出力された広ダイナミックレンジ画像データDHDRは、ダイナミックレンジ圧縮部6に入力される。ダイナミックレンジ圧縮部6は、広ダイナミックレンジ画像データDHDRを通常の画像処理回路で扱うことができる画像データに変換するためにダイナミックレンジを圧縮する。第1実施形態では、ダイナミックレンジ圧縮部6は、Retinex理論に基づいた階調補正によって広ダイナミックレンジ画像データDHDRのダイナミックレンジを圧縮して、圧縮広ダイナミックレンジ画像データDCHDRを生成する。バッファメモリ7は、広ダイナミックレンジ画像データDHDRまたは圧縮広ダイナミックレンジ画像データDCHDRを一時的に保持しておくメモリである。圧縮伸張処理部8は、バッファメモリ7に保持させた圧縮広ダイナミックレンジ画像データDCHDRをJPEG,MPEG等の圧縮方式によって圧縮処理して符号化データを生成する。符号化データは制御部11によって記録再生部14に記録される。また、圧縮伸張処理部8は、制御部11が記録再生部14に記録された符号化データを読み出した場合に、符号化データを伸張処理する。出力信号処理部9は、圧縮広ダイナミックレンジ画像データDCHDRを表示部10で表示可能な形式に変換して表示部10に入力する。また、出力信号処理部9は、図示していないディスプレイ装置等の外部機器に供給するために、外部機器のフォーマットやサイズに合わせて圧縮広ダイナミックレンジ画像データDCHDRを変換する。一例として、出力信号処理部9は圧縮広ダイナミックレンジ画像データDCHDRをNTSC信号に変換する。制御部11はビデオカメラ101の全体を制御する。制御部11はCPUによって構成することができる。上記のように、制御部11は、変換係数Coa,Cobを生成して画素値変換部51a,51bに供給し、上限値ThH及び下限値ThLを生成して合成重み付け係数生成部52及び差分生成部53に供給する。制御部11は、画像合成処理に必要なその他の各種のパラメータも生成または設定する。また、制御部11は、表示部10に表示する画像データや外部出力する画像データに重畳するキャラクタデータを生成して、出力信号処理部9に供給する。制御部11には、制御部11の作業用メモリであるRAM12が接続されている。ROM13には、制御部11を動作させるためのプログラムが記憶されている。制御部11は、ROM13に記憶されたプログラムに基づいてビデオカメラ101を制御する。記録再生部14は、ハードディスクドライブや半導体メモリ等の任意の記録媒体であり、制御部11によって記録再生が制御される。制御部11には操作スイッチ15が接続されており、操作スイッチ15による操作信号は制御部11に入力される。操作スイッチ15はリモートコントローラであってもよい。第1実施形態の画像処理装置は、ハードウェアで構成してもよいし、ソフトウェアコンピュータプログラムで構成してもよい。両者を混在させて構成してもよい。図5~図7に示すフローチャートを用いて、ビデオカメラ101で実行される画像処理動作についてさらに説明する。図5は第1実施形態及び後述する第2~第7実施形態で実行される画像処理動作の全体を示している。図5において、撮像部1は、ステップS1にて、同一の被写体を設定されたシャッタスピードで多重露光する。入力信号処理部2は、ステップS2にて、多重露光画像信号を取り込む。入力信号処理部2は、ステップS3にて、RGB信号を生成して、Y,Cb,Cr信号に変換する。多重露光画像出力部3は、ステップS4にて、短時間露光画像データDaと長時間露光画像データDbとを揃えて出力する。制御部11は、ステップS5にて、変換係数Coa,Cobを算出する。ステップS5の具体的な処理は後述する。画素値変換部51a,51bは、ステップS6にて、変換係数Coa,Cobに基づいて短時間露光画像データDaと長時間露光画像データDbの画素値を変換する。合成重み付け係数生成部52は、ステップS7にて、画素値が変換された短時間露光画像データDa1と長時間露光画像データDb2とを合成するための合成重み付け係数Wa,Wbを算出する。ステップS7の具体的な処理は後述する。重み付け合成部54は、ステップS8にて、短時間露光画像データDa1と長時間露光画像データDb2とを、合成重み付け係数Wa,Wbとを用いて重み付けして合成する。ダイナミックレンジ圧縮部6は、ステップS9にて、広ダイナミックレンジ画像データDHDRのダイナミックレンジを圧縮する。制御部11は、ステップS10にて、圧縮広ダイナミックレンジ画像データDCHDRを圧縮し、符号化後に記録再生部14に記録したり、圧縮広ダイナミックレンジ画像データDCHDRを表示部10に表示したりする。制御部11は、ステップS11にて、画像合成の指示が終了したか否かを判定する。多重露光した画像を合成するか否かは操作スイッチ15の操作によって切り換えることができる。画像合成の指示が終了していないと判定されればステップS1に戻り、終了したと判定されれば合成処理の動作を終了する。図6を用いて、図5のステップS5における変換係数Coa,Cobの算出処理の詳細について説明する。第1実施形態で実行されるステップS5をステップS51と称することとする。図6において、制御部11は、ステップS501にて、短時間露光画像データDaに対する変換係数Coaを仮設定する。前述のように、変換係数Coaは、10ビットの短時間露光画像データDaを16ビットのデジタルデータに変換する固定のゲイン値でよい。仮設定としたが、第1実施形態では変換係数Coaは更新されない。制御部11は、ステップS502にて、長時間露光画像データDbに対する変換係数Cobを仮設定する。前述のように、変換係数Cobは、10ビットの長時間露光画像データDbを16ビットのデジタルデータに変換して、さらに露光量比に応じて画素値を変換するための係数である。制御部11は、ステップS503にて、変換係数Cobを、ガンマ処理によるゲイン変化分だけ補正する。ここでの補正は、短時間露光画像データDa及び長時間露光画像データDbそれぞれ標準ガンマ変換による画素値の変化量に基づいた仮の補正である。制御部11は、ステップS504にて、ステップS509,S511における短時間露光画像データDa1と長時間露光画像データDb2との差分値Ddfの評価結果に基づいて変換係数Cobを追加補正する。制御部11は、ステップS505にて、差分生成部53が生成する差分値に対して正の閾値と負の閾値を設定する。制御部11は、ステップS506にて、差分生成部53が生成した差分カウント値Ddfcを取り込む。制御部11は、ノイズ等による差分値Ddfの急激な変化を除外するため、ステップS507にて、差分カウント値Ddfcを平滑化する。図1及び図6では差分カウント値Ddfcと総称しているが、ここでは便宜的に、正の閾値を越えた差分カウント値Ddfcを差分カウント値Ddfc、負の閾値を越えた差分カウント値Ddfcを差分カウント値Ddfcと称することとする。制御部11は、ステップS508にて、正の閾値を越えた差分カウント値Ddfcが制御部11に予め設定した評価用規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、即ち、規定値を超えた場合には、制御部11は、ステップS509にて、変換係数Cobを増加させるよう設定して、処理をステップS504に移行させる。規定値以内であると判定されればYES、制御部11は、ステップS510にて、負の閾値を越えた差分カウント値Ddfcが制御部11に予め設定した評価用規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、即ち、規定値を超えた場合には、制御部11は、ステップS511にて、変換係数Cobを減少させるよう設定して、処理をステップS504に移行させる。規定値以内であると判定されればYES、制御部11は、ステップS512にて、仮設定された変換係数Cobを維持して、処理をステップS504に移行させる。次に、図7を用いて、図5のステップS7における合成重み付け係数Wa,Wbを算出処理の詳細について説明する。図7において、制御部11は、ステップS701にて、図3で説明した合成領域の上限値ThHを仮設定する。制御部11は、ステップS702にて、図3で説明した合成領域の下限値ThLを仮設定する。制御部11は、ステップS703にて、図6で説明した差分カウント値Ddfcが規定値以内であるか否かによって上限値ThHと下限値ThLとを更新するか否かを判定する。更新すると判定されればYES、制御部11は、ステップS704にて、変換係数Cobの変化が少なくなって安定しているか否かを判定する。更新すると判定されなければNO、制御部11は、処理をステップS707に移行させる。ステップS704にて変換係数Cobが安定していると判定されればYES、制御部11は、ステップS705にて、差分カウント値Ddfc差分カウント値Ddfc,Ddfcの変化が少なくなって安定しているか否かを判定する。変換係数Cobが安定していると判定されなければNO、制御部11は、処理をステップS707に移行させる。ステップS705にて差分カウント値Ddfcが安定していると判定されればYES、制御部11は、ステップS706にて、合成領域を狭くするよう上限値ThHと下限値ThLとを更新する。差分カウント値Ddfcが安定していると判定されなければNO、制御部11は、処理をステップS707に移行させる。引き続き、制御部11は、ステップS707にて、長時間露光画像データDb2が基準になっているか否かを判定する。長時間露光画像データDb2が基準になっていると判定されればYES、制御部11は、ステップS708にて、長時間露光画像データDb2に対する合成重み付け係数Wbを生成し、ステップS709にて、短時間露光画像データDa1に対する合成重み付け係数Waを生成する。長時間露光画像データDb2が基準になっていると判定されなければNO、制御部11は、ステップS710にて、合成重み付け係数Waを生成し、ステップS711にて、合成重み付け係数Wbを生成する。以上のように、第1実施形態においては、図5のステップS1~S7を繰り返すことによって、変換係数Cobと合成重み付け係数Wa,Wbが好ましい状態に収束していく。結果として、重み付け合成部54が図5のステップS8にて出力する広ダイナミックレンジ画像データDHDRは、境界部での画素値が連続して視覚的に自然な画像となる。以上の説明より分かるように、第1実施形態においては、短時間露光画像データDa1と長時間露光画像データDb2との差分値に基づいた差分カウント値Ddfcを求めて、変換係数Cobと合成重み付け係数Wa,Wbとが収束するまで更新していけばよいため、回路規模や演算量は少なくてよい。よって、コストアップはほとんどなく、あってもわずかである。<第2実施形態>第2実施形態の構成は図1に示す構成と同様である。第2実施形態は、図5におけるステップS5を図8に示すステップS52としたものである。図8において、図6と同一部分には同一符号を付し、その説明を省略する。図8に示すように、ステップS52は、図6に示すステップS51におけるステップS501とステップS502との間にステップS513を設けたものである。短時間露光画像データDaと長時間露光画像データDbとの露光量比によっては、合成画像の多くの領域を短時間露光画像データDaが占めることになる。すると、ノイズが少ない長時間露光画像データDbが占める領域が少なくなり、長時間露光画像データDbによる効果が十分に発揮されない。そこで、制御部11は、第2実施形態によるステップS52においては、ステップS513にて、ステップS501にて64倍に仮設定した変換係数Coaの倍数を増加させるよう設定する。制御部11は、例えば短時間露光画像データDaを100倍にするよう変換係数Coaを増加させる。この際、短時間露光画像データDaの高輝度側が飽和しないよう入力信号処理部2において短時間露光画像データDaのニー特性を変更することが好ましい。変換係数Coaを増加設定したことにより、短時間露光画像データDaをガンマ処理した場合の画素値の変化量は、ステップS514を設けない場合と比較して異なることになる。従って、変換係数Cobの補正値も変換係数Coaの増加設定に対応させて適切な値とする。第2実施形態によれば、合成画像における長時間露光画像データDbが占める領域を多くすることができ、ノイズの少ない合成画像を得ることができる。<第3実施形態>図9及び図10を用いて第3実施形態の構成及び動作について説明する。第3実施形態は、図5におけるステップS5を図10に示すステップS53としたものである。図9において図1と同一部分には同一符号を付し、図10において図6と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図9において、ビデオカメラ103は、図1における多重露光画像合成部501の代わりに多重露光画像合成部503を設けている。多重露光画像合成部503は、差分生成部53より出力された画面フレーム全体における差分カウント値Ddfcの内、部分的な特定の領域内の差分カウント値Ddfcpを出力する差分領域設定部55を有する。ここでも便宜的に、正の閾値を越えた差分カウント値Ddfcpを差分カウント値Ddfcp、負の閾値を越えた差分カウント値Ddfcpを差分カウント値Ddfcpと称することとする。画面内の特定の領域は、例えば画面の中央部である。ユーザが操作スイッチ15によって特定の領域を指定してもよい。また、図示していない顔検出部によって検出された顔の領域を特定の領域とすることもできる。第3実施形態においては、図10に示すように、制御部11は、ステップS505の後、ステップS5063にて、差分領域設定部55から出力された部分的な領域からの差分カウント値Ddfcpを取り込む。制御部11は、ステップS5073にて差分カウント値Ddfcpを平滑化する。制御部11は、ステップS5083にて、正の差分カウント値Ddfcpが制御部11に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、制御部11は、ステップS510にて、変換係数Cobを増加させるよう設定する。制御部11は、ステップS5103にて、負の差分カウント値Ddfcpが制御部11に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、制御部11は、ステップS511にて、変換係数Cobを減少させるよう設定する。ステップS5063にて部分的な領域からの差分カウント値Ddfcpを取り込むことから、図10のステップS5083,S5103で用いる規定値は図6のステップS508,S510で用いる規定値とは異ならせる必要がある。第3実施形態によれば、短時間露光画像データDa1と長時間露光画像データDb2とが合成領域で画素値が近接したか否かを部分的な領域からの差分カウント値Ddfcpに基づいて判断するので、データ量を削減することができ、合成のための各種パラメータが収束するまでの時間も短くすることができる。画面全体の差分カウント値Ddfcの代わりに部分的な領域からの差分カウント値Ddfcpを用いることから、境界部で画素値を連続させる精度は第1実施形態の方がよい。しかしながら、ユーザが画面内で注目する中央部や顔の領域を特定の領域とすることにより、実質的に精度の差は問題にならない。第3実施形態においても、図10のステップS501とステップS502との間に、第2実施形態の図8におけるステップS513を設けてもよい。<第4実施形態>図11及び図12を用いて第4実施形態の構成及び動作について説明する。第4実施形態は、図5におけるステップS5を図12に示すステップS54としたものである。図11において図1と同一部分には同一符号を付し、図12において図6と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図11において、ビデオカメラ104は、図1における多重露光画像合成部501の代わりに多重露光画像合成部504を設けている。多重露光画像合成部504においては、差分生成部53が第1実施形態の差分カウント値Ddfcを出力するのではなく、差分値Ddf自体を出力するように構成している。第4実施形態においては、制御部11は差分値Ddfに基づく代表値を直接評価する。図12において、制御部11は、ステップS5054にて、後述する差分平均値Ddfavgに対する閾値を設定する。ここで設定する閾値は、差分平均値Ddfavgの変動に過敏に追従しないよう、差分平均値Ddfavgが閾値以下の場合には変換係数Cobを増減させにようにするためのものである。制御部11は、ステップS5064にて、差分値Ddfを取り込む。制御部11は、ステップS5074にて、差分値Ddfを平滑化し、平均値化して差分平均値Ddfavgを生成する。制御部11は、差分平均値Ddfavgを差分値Ddfの評価のための代表値とする。差分値Ddfを平均値化する代わりに、差分値Ddfを加算した差分加算値を代表値としてもよい。図12において、制御部11は、ステップS5084にて、差分平均値Ddfavgが制御部11に予め設定した正の規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、制御部11は、ステップS509にて、変換係数Cobを増加させるよう設定する。制御部11は、ステップS5104にて、差分平均値Ddfavgが制御部11に予め設定した規定値以内であるか否かを判定する。負の規定値以内であると判定されなければNO、制御部11は、ステップS511にて、変換係数Cobを減少させるよう設定する。このように、閾値を超えた差分値の差分カウント値Ddfcの代わりに差分値Ddf自体から求めた差分平均値Ddfavgを評価するようにしても、第1実施形態と同様の効果を奏することができる。なお、第4実施形態では差分カウント値Ddfcを用いないので、図7におけるステップS705は差分平均値Ddfavgが安定しているか否かを判定するステップとすればよい。第4実施形態においても、図11のステップS501とステップS502との間に、第2実施形態の図8におけるステップS513を設けてもよい。<第5実施形態>図13及び図14を用いて第5実施形態の構成及び動作について説明する。第5実施形態は、図5におけるステップS5を図14に示すステップS55としたものである。図13において図1と同一部分には同一符号を付し、図14において図6と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図13において、ビデオカメラ105は、図1における多重露光画像合成部501の代わりに多重露光画像合成部505を設けている。多重露光画像合成部505においては、差分生成部53が差分値Ddf自体を出力し、差分領域設定部55が画面フレーム全体における差分値Ddfの内、部分的な特定の領域内の差分値Ddfpを出力するように構成している。画面内の特定の領域は、第3実施形態と同様である。図14において、制御部11は、ステップS5055にて、後述する差分平均値Ddfpavgに対する閾値を設定する。差分平均値Ddfpavgに対する閾値は、第4実施形態における差分平均値Ddfavgに対する閾値と同様である。制御部11は、ステップS5065にて、部分的な差分値Ddfpを取り込む。制御部11は、ステップS5075にて、部分的な差分値Ddfpを平滑化し、平均値化して差分平均値Ddfpavgを生成する。制御部11は、ステップS5085にて、差分平均値Ddfpavgが制御部11に予め設定した正の規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、制御部11は、ステップS509にて、変換係数Cobを増加させるよう設定する。制御部11は、ステップS5105にて、差分平均値Ddfpavgが制御部11に予め設定した負の規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、制御部11は、ステップS511にて、変換係数Cobを減少させるよう設定する。閾値を超えた差分カウント値Ddfcを評価する代わりに差分値Ddf自体を評価する場合には、部分的な領域からの差分平均値Ddfpavgとした方がデータ量を削減することができるので好ましい。第5実施形態においても、図12のステップS501とステップS502との間に、第2実施形態の図8におけるステップS513を設けてもよい。<第6実施形態>図15及び図16を用いて第6実施形態の構成及び動作について説明する。第6実施形態は、図5におけるステップS5を図16に示すステップS56としたものである。図15において図1と同一部分には同一符号を付し、図16において図6と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図16において、ビデオカメラ106は、図1における多重露光画像合成部501の代わりに多重露光画像合成部506を設けている。多重露光画像合成部506は平滑化処理部56を備える。平滑化処理部56は、画素値変換部51aより出力された短時間露光画像データDa1を平滑化する平滑化処理部56aと、画素値変換部51bより出力された長時間露光画像データDb2を平滑化する平滑化処理部56bとを含む。平滑化処理部56a,56bは、画面内で画素値を平滑化するローパスフィルタで構成することができる。平滑化処理部56a,56bによって短時間露光画像データDa1と長時間露光画像データDb2を平滑化することにより、多重露光画像出力部3で除去した画面ぶれ以外の被写体の動きやノイズが短時間露光画像データDa1と長時間露光画像データDb2との差分値に与える影響を軽減することができる。平滑化処理部56a,56bより出力された平滑化処理が施された短時間露光画像データDa1と長時間露光画像データDb2は、差分生成部53に入力される。差分生成部53は、平滑化処理が施された短時間露光画像データDa1と長時間露光画像データDb2に基づいて差分カウント値Ddfcを生成する。短時間露光画像データDa1の低輝度部分はS/Nがよくなく、階調が低くなるという特性があるため、制御部11は、平滑化処理部56aにおける短時間露光画像データDa1に対するフィルタの平滑化係数を、平滑化処理部56bにおける長時間露光画像データDb2に対するフィルタの平滑化係数よりも大きくすることが好ましい。即ち、短時間露光画像データDa1に対する平滑化の程度を、長時間露光画像データDb2に対する平滑化の程度よりも大きくすることが好ましい。図16において、制御部11は、ステップS514にて、平滑化処理部56a,56bによって短時間露光画像データDa1と長時間露光画像データDb2を平滑化させる。ステップS506で取り込まれる差分カウント値Ddfcは、平滑化処理部56a,56bによる平滑化によって被写体の動きやノイズによる影響が軽減された差分値に基づいて生成されたものである。ステップS514に続くステップS505以降は、第1実施形態と同様である。第6実施形態においても、図14のステップS501とステップS502との間に、第2実施形態の図8におけるステップS513を設けてもよい。また、第6実施形態においても、第4実施形態と同様に、閾値を超えた差分値の差分カウント値Ddfcの代わりに差分値Ddfに基づいて生成した差分平均値Ddfavgを評価するようにしてもよい。<第7実施形態>図17及び図18を用いて第7実施形態の構成及び動作について説明する。第7実施形態は、図5におけるステップS5を図18に示すステップS57としたものである。図17において図9,図15と同一部分には同一符号を付し、図18において図16と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図17において、ビデオカメラ107は、図9における多重露光画像合成部503の代わりに多重露光画像合成部507を設けている。多重露光画像合成部507は、平滑化処理部56と差分領域設定部55とを備える。第7実施形態は、差分生成部53が、平滑化処理部56a,56bによって平滑化処理が施された短時間露光画像データDa1と長時間露光画像データDb2とに基づいて差分カウント値Ddfcを生成し、差分領域設定部55が、差分カウント値Ddfcに基づいて部分的な領域からの差分カウント値Ddfcpを生成する構成である。図18において、制御部11は、ステップS5067にて、差分領域設定部55から出力された部分的な領域からの差分カウント値Ddfcpを取り込む。制御部11は、ステップS5077にて差分カウント値Ddfcpを平滑化する。制御部11は、ステップS5087にて、正の差分カウント値Ddfcpが制御部11に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、制御部11は、ステップS510にて、変換係数Cobを増加させるよう設定する。制御部11は、ステップS5107にて、負の差分カウント値Ddfcpが制御部11に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければNO、制御部11は、ステップS511にて、変換係数Cobを減少させるよう設定する。第7実施形態においても、図16のステップS501とステップS502との間に、第2実施形態の図8におけるステップS513を設けてもよい。また、第7実施形態においても、部分的な領域からの差分カウント値Ddfcpを評価する代わりに、第5実施形態と同様に、部分的な領域からの差分平均値Ddfpavgを評価してもよい。本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。各実施形態としてビデオカメラに画像処理装置を搭載した例を示したが、本発明は画像表示装置やコンピュータ等の情報処理装置に適用することができる。各実施形態では、撮影した画像を即座に合成して合成画像を生成するようにしているが、露光量を異ならせて撮影した画像を記憶媒体に記憶させて貯蔵しておき、記憶媒体に貯蔵された画像を合成する画像処理装置であってよい。各実施形態では、輝度信号Yと色差信号Cb,Crの形態で画像合成するようにしたが、RGB信号で合成することも可能である。各実施形態では動画の合成について説明したが、静止画の合成であってもよい。露光量を異ならせて撮影した2枚の静止画を合成する場合には、同じ画像に対して繰り返し各種パラメータを更新して最適な合成画像となるまでパラメータの更新処理を繰り返せばよい。各実施形態では、圧縮広ダイナミックレンジ画像データDCHDRを表示部10に表示したり、圧縮広ダイナミックレンジ画像データDCHDRに基づいた符号化データを記録再生部14に記録したりしているが、広ダイナミックレンジ画像データDHDRそのままで記録や表示を行ってもよい。前述のように、露光量の異なる3枚以上の画像を合成してもよい。さらに、各実施形態では、制御部11をパラメータ更新部として動作させたが、変換係数Coa,Cobを設定または更新する制御部と、上限値ThHと下限値ThLとを設定または更新する制御部とを別々に設けてもよく、具体的な構成の仕方は任意である。ところで、各実施形態では、多重露光画像出力部3以降のデジタル信号を便宜上データと称したが、信号とはアナログ信号とデジタル信号とを区別せず両者を含む。各実施形態では、多重露光画像出力部3以降をデジタル信号処理としたが、デジタル信号処理とアナログ信号処理との使い分けも任意である。"