(57)【要約】  長露光画像及び短露光画像の輝度値のヒストグラム（ＨＬ、ＨＳ）を生成し、ヒストグラム（ＨＬ、ＨＳ）に基づき合成比率テーブル（Ｄ２）を生成する。合成比率テーブル（Ｄ２）に対し合成比率の変化の傾きが制限値（ＳＭＡＸ）を超えないよう補正を行ったうえで、ダイナミックレンジ拡大合成処理を行う。相前後して入力される２つのフレームの画像のうち、平均輝度値が高い方を長露光画像と判断する。短露光画像と長露光画像の撮影時の露光量比率の情報が得られない場合でも、疑似輪郭及び階調値の逆転の発生を抑えてダイナミックレンジ拡大合成画像を生成することが可能になる。
2017099150.tif 000002
【特許請求の範囲】
【請求項１】
被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理装置であって、
前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理部と、
前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記長露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理部と、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理部と、
前記輝度値加算処理部で生成された前記輝度加算値と前記合成比率テーブル生成処理部で生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理部と、
前記合成比率生成処理部で求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理部とを備え、
前記合成比率テーブル生成処理部は、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第１の閾値及び第２の閾値を決定し、
前記長露光画像の合成比率が、
前記輝度加算値が前記第１の閾値以下の範囲では、合成比率上限値に固定され、
前記輝度加算値が前記第２の閾値以上の範囲では、合成比率下限値に固定され、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
ことを特徴とする画像処理装置。
【請求項２】
前記合成比率テーブル生成処理部は、相前後して入力される２つのフレームの画像の各々について平均輝度値を求め、前記２つのフレームの画像のうち、平均輝度値が高い方を長露光画像であり、平均輝度値が低い方を短露光画像であると判断する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成比率テーブル生成処理部は、
前記短露光画像のヒストグラムにおいて各輝度値を有する画素の数を下側設定値まで積算することで得られる累積度数を第１の対応累積度数として求め、
前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を順次積算し、累積度数が前記第１の対応累積度数に達したときの輝度値を第１の対応輝度値として求め、
前記下側設定値と前記第１の対応輝度値との和を、前記第１の閾値として設定し、
前記長露光画像のヒストグラムにおいて各輝度値を有する画素の数を、前記下側設定値よりも大きい上側設定値まで積算することで得られる累積度数を第２の対応累積度数として求め、
前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を順次積算し、累積度数が前記第２の対応累積度数に達したときの輝度値を第２の対応輝度値として求め、
前記上側設定値と前記第２の対応輝度値との和を、前記第２の閾値として設定する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記制限値が、
前記短露光画像と前記長露光画像における同じ位置の画素の輝度値の差の最大値と、
前記短露光画像における前記輝度値の局所的変化量に対する前記長露光画像における前記輝度値の局所的変化量の比である、前記輝度値の変化量比率の最大値と
に基づいて定められるものである
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記局所的変化量が互いに隣接する画素間の差であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記輝度値の差の最大値及び前記変化量比率の最大値として、前記画像処理装置を含む撮像システムの仕様又は使用環境に基づいて推定された値が用いられることを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記合成比率テーブル生成処理部は、
前記長露光画像及び前記短露光画像の各々の全画素数の範囲内で、複数の第１の指定累積度数及び第２の指定累積度数の組合せを定め、
前記複数の第１の指定累積度数及び第２の指定累積度数の組合せの各々について、
前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第１の指定累積度数に達したときの輝度値を、前記短露光画像における第１の対応輝度値として検出し、
前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第１の指定累積度数に達したときの輝度値を、前記長露光画像における第１の対応輝度値として検出し、
前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第２の指定累積度数に達したときの輝度値を、前記短露光画像における第２の対応輝度値として検出し、
前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第２の指定累積度数に達したときの輝度値を、前記長露光画像における第２の輝度値として検出し、
前記長露光画像における前記第２の対応輝度値と、前記短露光画像における前記第１の対応輝度値との差を、前記第１の指定累積度数及び前記第２の指定累積度数の組合せについての輝度値差分として求め、
前記短露光画像における前記第２の対応輝度値と前記第１の対応輝度値との差に対する前記長露光画像における前記第２の対応輝度値と前記第１の対応輝度値との差の比を、前記第１の指定累積度数及び前記第２の指定累積度数の組合せについての差分比率として求め、
前記複数の前記第１の指定累積度数及び前記第２の指定累積度数の組合せについて求められた前記輝度値差分のうちの最大値を、前記輝度値の差の最大値として用い、
前記複数の前記第１の指定累積度数及び前記第２の指定累積度数の組合せについて求められた前記差分比率のうちの最大値を、前記変化量比率の最大値として用いる
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項８】
前記長露光画像及び前記短露光画像の各々を複数の分割領域に分割し、
前記分割領域の各々について、
前記短露光画像の輝度値の最小値を領域内最小輝度値として求め、最大値を領域内最大輝度値として求め、
前記長露光画像の輝度値の最小値を領域内最小輝度値として求め、最大値を領域内最大輝度値として求め、
同じ位置の前記分割領域についての前記長露光画像の前記領域内最大輝度値と前記短露光画像の前記領域内最小輝度値との差分を、輝度値差分として求め、
前記複数の分割領域について求められた前記輝度値差分の最大値を、前記輝度値の差の最大値として用い、
同じ位置の前記分割領域についての前記短露光画像の前記領域内最大輝度値と前記領域内最小輝度値の差に対する、前記長露光画像の前記領域内最大輝度値と前記領域内最小輝度値の差の比を、差分比率として求め、
複数の前記分割領域について求められた前記差分比率の最大値を、前記変化量比率の最大値として用いる
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項９】
前記合成比率テーブル生成処理部は、前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが前記制限値を超えないようにするために、前記長露光画像の前記合成比率上限値を補正することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記合成比率テーブル生成処理部は、前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが前記制限値を超えないようにするために、前記長露光画像の前記合成比率下限値を補正することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記制限値として、
前記輝度加算値が前記第１の閾値であるときの前記合成比率の変化の傾きを制限する第１の制限値と、
前記輝度加算値が前記第２の閾値であるときの前記合成比率の変化の傾きを制限する第２の制限値とが定められ、
前記合成比率テーブル生成処理部は、
前記合成比率の変化の傾きが、
前記輝度加算値が前記第１の閾値であるときに前記第１の制限値を超えず、
前記輝度加算値が前記第２の閾値であるときに前記第２の制限値を超えないように、
前記合成比率の値を定める
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１２】
前記合成比率テーブル生成処理部は、
前記第１の閾値から前記第２の閾値までの範囲において、前記長露光画像の合成比率の変化の傾きが、前記輝度加算値の増加にともなって次第に減少するように前記合成比率テーブルを生成することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第１の閾値から前記第２の閾値までの範囲における前記長露光画像の前記合成比率の値が、前記輝度加算値に対して、
【数２２】
2017099150.tif 000024
（但し、ｅは自然対数の底を示し、ｘ＾ｙはｘのｙ乗を示し、ＩＳＵＭは輝度加算値を表し、Ｔ１は、前記第１の閾値を表し、ａ、ｃ、ｄは定数を表す）
で表される関係を有し、
前記合成比率テーブル生成処理部は、前記短露光画像と前記長露光画像における同じ位置の画素の輝度値の差の最大値と、前記短露光画像における前記輝度値の局所的変化量に対する前記長露光画像における前記輝度値の局所的変化量の比である、前記輝度値の変化量比率の最大値と、前記第１の閾値に基づいて、前記定数ａ、ｃ及びｄの値を定める
ことを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理方法であって、
前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理ステップと、
前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記長露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理ステップと、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理ステップと、
前記輝度値加算処理ステップで生成された前記輝度加算値と前記合成比率テーブル生成処理ステップで生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理ステップと、
前記合成比率生成処理ステップで求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理ステップとを備え、
前記合成比率テーブル生成処理ステップは、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第１の閾値及び第２の閾値を決定し、
前記長露光画像の合成比率が、
前記輝度加算値が前記第１の閾値以下の範囲では、合成比率上限値に固定され、
前記輝度加算値が前記第２の閾値以上の範囲では、合成比率下限値に固定され、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
ことを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関する。本発明は特に、撮像画像の合成によりダイナミックレンジの広い合成画像を得る画像処理装置及び方法に関する。本発明はまた、画像処理装置又は方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
画像のダイナミックレンジを拡大する手法として、露光時間の異なる２枚の画像を合成する方法がある。例えば特許文献１では、大きい露光量の撮像による第１の画像信号と小さい露光量による第２の画像信号とを合成する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２５４１５１号公報（第５−８頁、第１−３図）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の従来の画像処理装置は、小さい露光量の画像信号と大きい露光量の画像信号の露光量比率が既知であることを前提としていた。しかしダイナミックレンジ拡大処理を行う撮像システムにおいて、必ずしもカメラモジュールと画像処理装置が一体化しているとは限らない。【０００５】
カメラモジュールが独立しており、カメラモジュールからの出力画像データを用いてダイナミックレンジ拡大を行うような構成では、大きい露光量の画像及び小さい露光量の画像の取得のための露光条件は、カメラモジュール部で撮影画像の明るさを参照して独自に制御するか、画像処理装置でカメラモジュールから出力された撮影画像の明るさをモニタして、露光条件を制御する信号をカメラモジュールに送信することで制御を行う必要がある。【０００６】
前者の場合、画像処理装置は撮影時の正確なカメラの露光量比率を得ることができない。後者の場合、画像処理装置から出力する制御信号がカメラモジュールの撮影画像に反映されるタイミングが明確でないため、各フレームにおけるカメラモジュールからの出力画像について正確な露光量比率を得ることができない。【０００７】
またカメラモジュールが独立している構成では、カメラモジュールからの出力画像にガンマ補正、コントラスト補正等の非線形な階調変換処理が適用されていることが多い。このような場合も露光量比率を求めることができない。【０００８】
上記のようにカメラモジュールと画像処理装置が独立した撮像システムでは、露光量比率の値を参照することを前提とする従来の画像処理装置のダイナミックレンジ拡大処理方法を適用することができないという問題があった。【０００９】
また、合成比率が画素毎に異なる値に設定されるために、隣接する画素間で階調値が逆転し、これにより疑似輪郭が発生するおそれがあった。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、
被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理装置であって、
前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理部と、
前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記長露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理部と、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理部と、
前記輝度値加算処理部で生成された前記輝度加算値と前記合成比率テーブル生成処理部で生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理部と、
前記合成比率生成処理部で求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理部とを備え、
前記合成比率テーブル生成処理部は、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第１の閾値及び第２の閾値を決定し、
前記長露光画像の合成比率が、
前記輝度加算値が前記第１の閾値以下の範囲では、合成比率上限値に固定され、
前記輝度加算値が前記第２の閾値以上の範囲では、合成比率下限値に固定され、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
前記輝度加算値が前記第１の閾値以上で前記第２の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、短露光画像と長露光画像の撮影時の露光量比率の情報が得られない場合でも、階調値の逆転、及びこれに伴う疑似輪郭の発生を抑えて適切にダイナミックレンジ拡大画像を生成することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１の画像処理装置をカメラとともに示すブロック構成図である。
【図２】（ａ）及び（ｂ）は、ヒストグラム生成処理部で生成されるヒストグラムの例を示す図である。
【図３】（ａ）及び（ｂ）は、ヒストグラム生成処理部で生成される累積ヒストグラムの例を示す図である。
【図４】合成比率テーブルで表される合成比率曲線の例を示す図である。
【図５】実施の形態１における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。
【図６】図５のステップＳＴ１１の処理の詳細を示すフローチャートである。
【図７】実施の形態１における合成比率テーブルの補正方法の一例を示す図である。
【図８】実施の形態１における合成比率テーブルの補正方法の他の例を示す図である。
【図９】本発明の実施の形態２における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。
【図１０】（ａ）及び（ｂ）は、輝度値の差の最大値及び変化量比率の最大値を推定する方法を示す図である。
【図１１】図９のステップＳＴ１６の処理の詳細を示すフローチャートである。
【図１２】本発明の実施の形態３における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。
【図１３】（ａ）及び（ｂ）は、実施の形態３における合成比率テーブルの補正方法の例を示す図である。
【図１４】本発明の実施の形態４における合成比率テーブル生成処理部が合成比率テーブルを生成する処理の手順を示すフローチャートである。
【図１５】本発明の実施の形態５の画像処理装置をカメラとともに示すブロック構成図である。
【図１６】実施の形態５において、図９のステップＳＴ１６で行われる処理の詳細を示すフローチャートである。
【図１７】実施の形態１〜５の画像処理装置の各部の機能を実現するコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１に本発明の実施の形態１の画像処理装置２０をカメラ１０とともに示す。
本実施の形態による画像処理装置は長露光画像と短露光画像とを合成してダイナミックレンジ拡大画像を生成する。
【００１４】
長露光画像及び短露光画像、並びにダイナミックレンジ拡大画像の画像形式としてはＹＣｂＣｒ４：４：４形式、もしくはＹＣｂＣｒ４：２：２形式を想定している。
また、輝度成分Ｙ、色差成分Ｃｂ、及び色差成分Ｃｒの各々は、８ｂｉｔの値で表されるものとする。この８ｂｉｔの値は、十進法の０から２５５までの値を表す。
【００１５】
カメラ１０はフレーム毎に撮影時の露光条件を切り替え、長露光画像の画像データと短露光画像の画像データとを交互に出力する。
カメラ１０から出力された画像データは画像処理装置２０で合成され、合成の結果得られる画像データがダイナミックレンジ拡大画像の画像データとして出力される。
【００１６】
画像処理装置２０は、カメラＩ／Ｆ（インターフェース）２１、ヒストグラム生成処理部２２、合成比率テーブル生成処理部２３、フレームバッファ２４、輝度値加算処理部２５、合成比率生成処理部２６、及び画素値合成処理部２７を備える。
【００１７】
カメラＩ／Ｆ２１はカメラ１０から出力される画像データＰ１を受け取り、デジタル画像データＰ２としてヒストグラム生成処理部２２及びフレームバッファ２４に供給する。
【００１８】
ヒストグラム生成処理部２２は、入力される画像データで表される各画素の輝度値に基づいて、フレーム毎に輝度値のヒストグラムＤ１を生成する。生成されたヒストグラムＤ１はヒストグラム生成処理部２２内のメモリ２２ａに１フレーム期間バッファリングされ、直近２フレームのヒストグラムＤ１が出力される。
【００１９】
２フレームのヒストグラムＤ１の例を図２（ａ）及び（ｂ）に示す。図２（ａ）及び（ｂ）において、横軸は輝度値を表し、縦軸は各輝度値を有する画素の出現度数を表す。
ヒストグラム生成処理部２２はさらに、図２（ａ）及び（ｂ）に示されるヒストグラムにおいて、輝度値毎の出現度数を低輝度値から各輝度値まで累積して累積度数（積算画素数）Ａを求める。そのようにして求められた累積度数Ａを表す曲線を図３（ａ）及び（ｂ）に示す。図３（ａ）及び（ｂ）に示される曲線は累積ヒストグラムを表すものである。
なお、以下では、累積ヒストグラムが生成されるものとして説明を行うが、累積ヒストグラムは必ずしも生成しなくても良く、必要が生じる度に、図２（ａ）及び（ｂ）に示されるヒストグラムから各輝度値までの累積度数を求めるようにしても良い。
【００２０】
合成比率テーブル生成処理部２３は直近２フレームの画像についてのヒストグラムを比較して、どちらが長露光画像のヒストグラムで、どちらが短露光画像のヒストグラムであるかを判定し、判定の結果、即ちどちらが長露光画像でどちらが短露光画像であるかを示す情報ＤＬＳを出力するとともに、長露光画像のヒストグラムで表される輝度値分布と短露光画像のヒストグラムで表される輝度値分布に基づいて合成比率テーブルＤ２を生成する。
【００２１】
合成比率テーブルＤ２は長露光画像の輝度値ＩＬと短露光画像の輝度値ＩＳを加算することで得られる値（輝度加算値）ＩＳＵＭと、長露光画像の画素値ＰＬと短露光画像の画素値ＰＳとの合成に用いられる合成比率α及びβの少なくとも一方との対応関係を規定する合成比率曲線を表す数値の組であり、合成比率テーブル生成処理部２３内のメモリ２３ａに記憶される。合成比率テーブルＤ２として合成比率α及びβの一方のみの値が記憶される場合には合成比率α及びβの他方は、演算により求められる。この演算はα＋β＝１と言う関係に基づくものである。以下では、合成比率テーブルＤ２として合成比率βの値のみが記憶されているものとして説明する。
【００２２】
フレームバッファ２４はカメラＩ／Ｆ２１から出力されたデジタル画像データＰ２をバッファリングする。
フレームバッファ２４は、少なくとも直近２フレームの画像データを保持し、画素値合成処理部２７及び輝度値加算処理部２５が長露光画像及び短露光画像の画像データを１画素ずつ処理できるよう、２フレーム分の画像データを並行して同時に１画素ずつ出力する。
【００２３】
輝度値加算処理部２５は、フレームバッファ２４から読み出された、直近２フレームの画像の同じ位置の画素の輝度値を加算して輝度加算値ＩＳＵＭとして出力する。
直近２フレームの画像のうちの一方は、長露光画像であり、他方は短露光画像である。従って、輝度加算値ＩＳＵＭは、長露光画像の輝度値と短露光画像の同じ位置の画素の輝度値の和である。
画素の位置を（ｘ，ｙ）で表し、長露光画像の位置（ｘ，ｙ）の画素の輝度値をＩＬ（ｘ，ｙ）、短露光画像の位置（ｘ，ｙ）の画素の輝度値をＩＳ（ｘ，ｙ）で表すと、同じ位置の画素についての輝度加算値ＩＳＵＭ（ｘ，ｙ）は下記の式（１）で表される。
ＩＳＵＭ（ｘ，ｙ）＝ＩＬ（ｘ，ｙ）＋ＩＳ（ｘ，ｙ）      …式（１）
なお、各値が特定の位置の画素についての値であることを明記するために、「（ｘ，ｙ）」を付すが、混乱が生じない場合には「（ｘ，ｙ）」を省略する。以下で現れる他の符号についても同様である。
【００２４】
合成比率生成処理部２６は、合成比率テーブル生成処理部２３から出力された合成比率テーブルＤ２を参照し、輝度値加算処理部２５から出力された輝度加算値ＩＳＵＭに対応する合成比率α及びβを求める。合成比率テーブルＤ２として合成比率βの値のみが記憶されている場合には、合成比率テーブル生成処理部２３から合成比率βの値を得て、合成比率生成処理部２６内で、
α＝１−β
の演算を行って、合成比率αの値を得る。
【００２５】
画素値合成処理部２７は、合成比率テーブル生成処理部２３から出力された、直近２フレームの画像のうちどちらが長露光画像でどちらが短露光画像であるかを示す情報ＤＬＳと、フレームバッファ２４から読み出された長露光画像の画素値ＰＬ（ｘ,ｙ）及び短露光画像の画素値ＰＳ（ｘ,ｙ）と、合成比率生成処理部２６から出力された合成比率α及びβの値とに基づき、長露光画像の画素値ＰＬ（ｘ,ｙ）と短露光画像の画素値ＰＳ（ｘ,ｙ）とを合成比率α及びβに従って加重加算することで、出力画素値ＰＯ（ｘ,ｙ）を生成する。α＋β＝１であるので、この加重加算は加重平均を求める処理であるとも言える。
このようにして生成される出力画素値ＰＯ（ｘ,ｙ）は、ダイナミックレンジ拡大画像の画素値を構成するものである。
【００２６】
画素値ＰＬ（ｘ,ｙ）、ＰＳ（ｘ,ｙ）、及びＰＯ（ｘ,ｙ）の各々には、輝度値及び色差値が含まれ、合成は輝度値及び色差値の各々について行われる。
即ち、長露光画像の画素値ＰＬ（ｘ,ｙ）には、輝度値ＩＬ（ｘ,ｙ）並びに色差値ＣｂＬ（ｘ，ｙ）及びＣｒＬ（ｘ，ｙ）が含まれ、短露光画像の画素値ＰＳ（ｘ,ｙ）には、輝度値ＩＳ（ｘ,ｙ）並びに色差値ＣｂＳ（ｘ，ｙ）及びＣｒＳ（ｘ，ｙ）が含まれ、出力画素値ＰＯ（ｘ,ｙ）には、輝度値ＩＯ（ｘ,ｙ）並びに色差値ＣｂＯ（ｘ，ｙ）及びＣｒＯ（ｘ，ｙ）が含まれる。
画素値合成処理部２７は、輝度値ＩＬ（ｘ,ｙ）と輝度値ＩＳ（ｘ,ｙ）とを合成して輝度値ＩＯ（ｘ,ｙ）を生成するとともに、色差値ＣｂＬ（ｘ，ｙ）と色差値ＣｂＳ（ｘ，ｙ）とを合成して色差値ＣｂＯ（ｘ，ｙ）を生成し、色差値ＣｒＬ（ｘ，ｙ）と色差値ＣｒＳ（ｘ，ｙ）とを合成して色差値ＣｒＯ（ｘ，ｙ）を生成する。
同じ画素についての合成には同じ合成比率が用いられる。
【００２７】
この合成は下記の式（２ａ）、（２ｂ）及び（２ｃ）で表される。
ＩＯ（ｘ，ｙ）＝α×ＩＳ（ｘ，ｙ）＋β×ＩＬ（ｘ，ｙ）  …式（２ａ）
ＣｂＯ（ｘ，ｙ）＝α×ＣｂＳ（ｘ，ｙ）＋β×ＣｂＬ（ｘ，ｙ）  
…式（２ｂ）
ＣｒＯ（ｘ，ｙ）＝α×ＣｒＳ（ｘ，ｙ）＋β×ＣｒＬ（ｘ，ｙ）  
…式（２ｃ）
【００２８】
以下、合成比率テーブル生成処理部２３における合成比率テーブルＤ２の生成方法について説明する。
【００２９】
合成比率テーブルとしては、図４に示すように、輝度加算値ＩＳＵＭが第１の閾値（変化範囲下限値）Ｔ１以下の範囲では、合成比率βが上限値（合成比率上限値）に固定され、輝度加算値ＩＳＵＭが第２の閾値（変化範囲上限値）Ｔ２以上の範囲では、合成比率βが下限値（合成比率下限値）に固定され、輝度加算値ＩＳＵＭが第１の閾値Ｔ１以上で第２の閾値Ｔ２以下の範囲（第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲）では、輝度加算値ＩＳＵＭの増加に従って、合成比率上限値から合成比率下限値に徐々に減少するものが生成される。第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲を「合成比率が変化する範囲」とも言う。
【００３０】
輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲における合成比率βの変化は、実線Ｃ１１で示すように直線的であっても良く、破線Ｃ１２で示すように曲線に沿うものであっても良い。即ち、輝度加算値ＩＳＵＭの増加に対する合成比率の変化の割合、即ち合成比率テーブルで表される曲線（合成比率曲線）の傾きは、一定の値であっても良く、変化する値であっても良い。
本実施の形態１では、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲において合成比率が実線Ｃ１１で例示するように直線的に変化する場合について説明する。
【００３１】
合成比率βの上限値（合成比率上限値）は通常図４に示すように１（合成比率の最大値）に設定されるが、１よりも小さい値に設定されることもある。同様に、合成比率βの下限値（合成比率下限値）は通常図４に示すように０（合成比率の最小値）に設定されるが、０よりも大きい値に設定されることもある。
本実施の形態１では、合成比率βの合成比率上限値が１となり、合成比率下限値が０となるように合成比率テーブルを生成し、生成された合成比率テーブルで表される合成比率曲線の傾きが制限値ＳＭＡＸよりも大きい場合には、合成比率テーブルを補正して、合成比率曲線の傾きが制限値ＳＭＡＸ以下となるようにする。この補正の際、合成比率上限値または合成比率下限値が補正される。
【００３２】
第１の閾値Ｔ１及び第２の閾値Ｔ２は、フレーム毎の画像の特徴、例えば輝度分布に基づいて定められる。第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲における合成比率曲線については、その傾き（合成比率の変化の傾き）Ｓに対して制限値が設定される。
以下では、最初に第１の閾値Ｔ１及び第２の閾値Ｔ２の設定の仕方を説明し、その後で傾きＳに対する制限値ＳＭＡＸについて説明する。
【００３３】
図５は、合成比率テーブル生成処理部２３が合成比率テーブルＤ２を生成する処理を示している。図５の処理は、ヒストグラム生成処理部２２から直近２フレームの画像についてのヒストグラムが供給される毎に行われる。
【００３４】
図５において、ステップＳＴ１１では、第１の閾値Ｔ１及び第２の閾値Ｔ２を決定する。図６は、ステップＳＴ１１の処理の詳細を示す。
【００３５】
図６を参照し、合成比率テーブル生成処理部２３では、ステップＳＴ２１で、直近２フレームのヒストグラムＤ１から、各フレームの輝度平均値Ｉａｖ０及びＩａｖ１を算出し、算出した輝度平均値Ｉａｖ０及びＩａｖ１の大小関係に基づいて、上記の２フレームの画像のうちのどちらが長露光画像でどちらが短露光画像であるかを判断する。
【００３６】
例えば画像の輝度値の範囲を０〜２５５とし、直近フレームの輝度値Ｉｐを有する画素の数をＨ０［Ｉｐ］、その一つ前のフレームの輝度値Ｉｐを有する画素の数をＨ１［Ｉｐ］とすると、直近フレームの輝度平均値Ｉａｖ０、及びその一つ前のフレームの輝度平均値Ｉａｖ１は、下記の式（３ａ）及び（３ｂ）で表される演算を行うことで算出することができる。
【数１】
2017099150.tif 000003
【００３７】
Ｉａｖ０≧Ｉａｖ１の場合は直近フレームを長露光画像と判断し、その一つ前のフレームを短露光画像と判断し、それ以外の場合、即ちＩａｖ０＜Ｉａｖ１の場合は直近フレームを短露光画像、その一つ前のフレームを長露光画像と判断する。
図２（ａ）及び（ｂ）の例では、図２（ａ）に示される曲線が長露光画像のヒストグラムＨＬであり、図２（ｂ）に示される曲線が短露光画像のヒストグラムＨＳであると判断される。この場合、図３（ａ）に示される曲線が長露光画像の累積ヒストグラムＤＬであり、図３（ｂ）に示される曲線が短露光画像の累積ヒストグラムＤＳであることになる。
【００３８】
ステップＳＴ２１の次にステップＳＴ２２〜ＳＴ２４の処理とステップＳＴ２５〜ＳＴ２７の処理を並行して行う。
ステップＳＴ２２では、図３（ａ）に示される長露光画像の累積ヒストグラムＤＬにおいて、予め定められた上側設定値Ｑａに対応する累積度数（積算画素数）Ａａを対応累積度数として求める。この対応累積度数Ａａは、図２（ａ）に示される長露光画像のヒストグラムＨＬにおいて、各輝度値Ｉｐを有する画素の数（出現度数）ＨＬ［Ｉｐ］を、輝度値の低い側から上側設定値Ｑａまで積算することで得られる累積度数である。この積算は下記の式（４）で表される。
【数２】
2017099150.tif 000004
【００３９】
次に、ステップＳＴ２３で、図３（ｂ）に示される短露光画像の累積ヒストグラムＤＳにおいて、対応累積度数Ａａに対応する輝度値Ｑｂを対応輝度値として求める。この対応輝度値Ｑｂは、図２（ｂ）に示される短露光画像のヒストグラムＨＳにおいて、各輝度値を有する画素の数を、輝度値Ｉｐの低い側から順次積算し、累積度数が対応累積度数Ａａに達したときの輝度値である。
【００４０】
次に、ステップＳＴ２４で、上記の上側設定値Ｑａと上記の対応輝度値Ｑｂとの和（Ｑａ＋Ｑｂ）を、合成比率テーブルＤ２の上記の第２の閾値Ｔ２として設定する。
【００４１】
上側設定値Ｑａは長露光画像において、注目画素が白飛び画素か否かの判断をするための閾値である。画像データにおける輝度値が０〜２５５で表されるとすると、上側設定値Ｑａは、画像の輝度値が取り得る値の最大値（飽和レベル）である２５５に近い値、例えば２４０もしくは２５０といった値とするのが望ましい。
【００４２】
ステップＳＴ２２〜ＳＴ２４の処理と並行してステップＳＴ２５〜ＳＴ２７の処理を行う。
ステップＳＴ２５では、図３（ｂ）に示される短露光画像の累積ヒストグラムＤＳにおいて、予め定められた下側設定値Ｑｃに対応する累積度数（積算画素数）Ａｃを対応累積度数として求める。この対応累積度数Ａｃは、図２（ｂ）に示される短露光画像のヒストグラムＨＳにおいて、各輝度値Ｉｐを有する画素の数ＨＳ［Ｉｐ］を、輝度値の低い側から下側設定値Ｑｃまで積算することで得られる累積度数である。この積算は下記の式（５）で表される。
【数３】
2017099150.tif 000005
【００４３】
次に、ステップＳＴ２６で、図３（ａ）に示される長露光画像の累積ヒストグラムＤＬにおいて、対応累積度数Ａｃに対応する輝度値Ｑｄを対応輝度値として求める。この対応輝度値Ｑｄは、図２（ａ）に示される長露光画像のヒストグラムＨＬにおいて、各輝度値Ｉｐを有する画素の数を、輝度値の低い側から順次積算し、累積度数が対応累積度数Ａｃに達したときの輝度値である。
【００４４】
次に、ステップＳＴ２７で、上記の下側設定値Ｑｃと上記の対応輝度値Ｑｄとの和（Ｑｃ＋Ｑｄ）を、合成比率テーブルＤ２の上記の第１の閾値Ｔ１として設定する。
【００４５】
下側設定値Ｑｃは上側設定値Ｑａよりも小さい。
下側設定値Ｑｃは短露光画像において、注目画素が黒つぶれ画素か否かの判断をするための閾値である。画像データにおける輝度値が０〜２５５で表されるとすると、下側設定値Ｑｃは画像の輝度値が取り得る値の最小値である０に近い値、例えば、５もしくは１０といった値とするのが望ましい。
【００４６】
図５に戻り、ステップＳＴ１１の次に、ステップＳＴ１２に進む。ステップＳＴ１２では、合成比率テーブルを暫定的に生成する。
即ち、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲、輝度加算値ＩＳＵＭが第１の閾値Ｔ１よりも小さい範囲、及び輝度加算値ＩＳＵＭが第２の閾値Ｔ２よりも大きい範囲のそれぞれにおける合成比率βの値を暫定的に決定する。
決定された暫定的な合成比率テーブルは、メモリ２３ａに保存される。
【００４７】
ステップＳＴ２４で求めた第２の閾値Ｔ２は、長露光画像において、注目画素が白飛び画素か否かの判断をするための閾値である、上側設定値Ｑａに対応する値である。従って、輝度加算値ＩＳＵＭが該値Ｔ２以上である画素位置において長露光画像に白飛びが発生していると見ることができる。そこで、輝度加算値ＩＳＵＭが第２の閾値Ｔ２以上では、合成比率βを０とする。
【００４８】
同様に、ステップＳＴ２７で求めた第１の閾値Ｔ１は、短露光画像において、注目画素が黒つぶれ画素か否かの判断をするための閾値である、下側設定値Ｑｃに対応する値である。従って、輝度加算値ＩＳＵＭが該値Ｔ１以下である画素位置において短露光画像に黒つぶれが発生していると見ることができる。そこで、輝度加算値ＩＳＵＭが第１の閾値Ｔ１以下では、合成比率βを１とする。
【００４９】
輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲では、合成比率βの値を、１から０に直線的に減少するように定める。即ち、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲では、輝度加算値ＩＳＵＭの変化に対する合成比率βの変化の比、即ち、合成比率曲線の傾きＳは一定である。
【００５０】
ステップＳＴ１２の次にステップＳＴ１３に進む。ステップＳＴ１３では、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲における合成比率曲線の傾きＳを求める。
図４に示す合成比率曲線Ｃ１１おいて、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲での傾きの絶対値をＳとする。
Ｓの値は下記の式（６）で表される演算を行うことで求められる。
【数４】
2017099150.tif 000006
【００５１】
ステップＳＴ１３の次に、ステップＳＴ１４に進む。ステップＳＴ１４では、ステップＳＴ１３で求めた傾きＳを、予め定められた制限値ＳＭＡＸと比較する。制限値ＳＭＡＸの定め方については後述する。
ステップＳＴ１４で傾きＳが制限値ＳＭＡＸ以下の場合には処理を終了し、ステップＳＴ１２で暫定的に決定された合成比率テーブルがそのまま最終的な、確定した合成比率テーブルとしてメモリ２３ａ内に保持される。
【００５２】
ステップＳＴ１４で、傾きＳが制限値ＳＭＡＸよりも大きい場合は、ステップＳＴ１５に進む。ステップＳＴ１５では、傾きＳが制限値ＳＭＡＸ以下となるように合成比率テーブルの補正を行う。
【００５３】
図７は、合成比率テーブルの補正の方法の一例を示したものである。補正前の合成比率テーブルで表される合成比率曲線を符号Ｃ１３で表し、補正後の合成比率テーブルで表される合成比率曲線を符号Ｃ１４で表す。
この補正においては、輝度加算値ＩＳＵＭが第２の閾値Ｔ２以上であるときの合成比率β（＝βＴ２）、即ち、合成比率下限値は０のままとされ、輝度加算値ＩＳＵＭが第１の閾値Ｔ１以下であるときの合成比率β、即ち、合成比率上限値が、より小さい値に補正され、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲での合成比率曲線の傾きＳが、予め定められた制限値ＳＭＡＸに等しくなるようにされる。
【００５４】
そのためにまず、輝度加算値ＩＳＵＭが第１の閾値Ｔ１に等しいときの合成比率β（＝βＴ１）が補正される。輝度加算値ＩＳＵＭが第１の閾値Ｔ１に等しいときの合成比率βＴ１の補正後の値を符号βＴ１ｃで表す。このような補正後の値βＴ１ｃは下記の式（７）で表される演算を行うことで求められる。
βＴ１ｃ＝ＳＭＡＸ×（Ｔ２−Ｔ１）        …式（７）
【００５５】
輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲における合成比率βは、輝度加算値ＩＳＵＭが第１の閾値Ｔ１に等しいときの補正後の合成比率βＴ１ｃ（補正後の合成比率上限値）から、輝度加算値ＩＳＵＭが第２の閾値Ｔ２に等しいときの合成比率βＴ２（＝０）まで直線的に減少する値となるように補正される。
【００５６】
輝度加算値ＩＳＵＭが第１の閾値Ｔ１よりも小さい範囲における合成比率βは、輝度加算値ＩＳＵＭが第１の閾値Ｔ１に等しいときの補正後の合成比率βＴ１ｃ（補正後の合成比率上限値）に等しい値に補正される。
【００５７】
図８は、合成比率テーブルの補正の方法の他の例を示したものである。補正前の合成比率テーブルで表される合成比率曲線を符号Ｃ１３で表し、補正後の合成比率テーブルで表される合成比率曲線を符号Ｃ１５で表す。
この補正においては、輝度加算値ＩＳＵＭが第１の閾値Ｔ１以下であるときの合成比率β（＝βＴ１）、即ち、合成比率上限値は１のままとされ、輝度加算値ＩＳＵＭが第２の閾値Ｔ２以上であるときの合成比率β、即ち、合成比率下限値が、より大きい値に補正され、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲での合成比率曲線の傾きＳが、予め定められた制限値ＳＭＡＸに等しくなるようにされる。
【００５８】
そのためにまず、輝度加算値ＩＳＵＭが第２の閾値Ｔ２に等しいときの合成比率β（＝βＴ２）が補正される。輝度加算値ＩＳＵＭが第２の閾値Ｔ２に等しいときの合成比率βＴ２の補正後の値を符号βＴ２ｃで表す。このような補正後の値βＴ２ｃは下記の式（８）で表される演算を行うことで求められる。
βＴ２ｃ＝１−ＳＭＡＸ×（Ｔ２−Ｔ１）        …式（８）
【００５９】
輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲における合成比率βは、輝度加算値ＩＳＵＭが第１の閾値Ｔ１に等しいときの合成比率βＴ１（＝１）から、輝度加算値ＩＳＵＭが第２の閾値Ｔ２に等しいときの補正後の合成比率βＴ２ｃ（補正後の合成比率下限値）まで直線的に減少する値となるように補正される。
【００６０】
輝度加算値ＩＳＵＭが第２の閾値Ｔ２よりも大きい範囲における合成比率βは、輝度加算値ＩＳＵＭが第２の閾値Ｔ２に等しいときの補正後の合成比率βＴ２ｃ（補正後の合成比率下限値）に等しい値に補正される。
【００６１】
以上のように補正された合成比率β（ＩＳＵＭ）の値を定義する補正後の合成比率テーブルがメモリ２３ａに、補正前の合成比率テーブルの代わりに保存される。
【００６２】
以上のように、合成比率テーブルＤ２の生成に当たり、本発明では、合成比率テーブルＤ２で表される合成比率曲線の傾き（合成比率の変化の傾き）が予め定められた制限値ＳＭＡＸを超えないようにされる。
以下に傾きＳに対し制限を加える理由及び制限値ＳＭＡＸの定め方について説明する。
【００６３】
短露光画像と長露光画像を合成する処理では、合成比率α及びβの変化の傾きＳが大きくなることにより、合成前の画像と合成画像とで、輝度の大小関係が局所的に、即ち隣接する画素間で逆転する可能性がある。以下では、上記の逆転が起きる条件、及び逆転を防ぐための制限値ＳＭＡＸの定め方について説明する。
【００６４】
まず画像合成を行う際の輝度値の変化量（即ち、隣接画素間での差分）と合成画像における階調値の逆転との関係について説明する。
【００６５】
ある位置（ｘ,ｙ）を注目位置とし、当該位置の画素（注目画素）についての短露光画像の輝度値をＩＳで表し、同じ位置の画素についての長露光画像の輝度値をＩＬで表す。また、上記の注目位置（ｘ,ｙ）に隣接する位置、例えば、水平方向右側で隣接する位置（ｘ＋１,ｙ）の画素（隣接画素）についての短露光画像の輝度値をＩＳ’で表し、同じ隣接位置（ｘ＋１,ｙ）の画素についての長露光画像の輝度値をＩＬ’で表す。
【００６６】
さらに、上記の注目位置（ｘ,ｙ）の画素についての輝度加算値をＩＳＵＭで表し、上記の隣接位置（ｘ＋１,ｙ）の画素（隣接画素）についての輝度加算値をＩＳＵＭ’で表す。そして注目位置の画素についての輝度加算値ＩＳＵＭに対する隣接画素についての輝度加算値ＩＳＵＭ’の差分（ＩＳＵＭ’−ＩＳＵＭ）を、上記の注目位置（ｘ,ｙ）についての輝度加算値ＩＳＵＭの変化量ＩＳＵＭｄとして求める。
【００６７】
また、短露光画像において、上記の注目位置（ｘ,ｙ）の画素についての輝度値ＩＳに対する、隣接位置の画素についての輝度値ＩＳ’の差分（ＩＳ’−ＩＳ）を、注目位置における短露光画像の輝度値ＩＳの変化量ＩＳｄと定義する。
同様に、長露光画像において、上記の注目位置（ｘ,ｙ）の画素についての輝度値ＩＬに対する、隣接位置の画素についての輝度値ＩＬ’の差分（ＩＬ’−ＩＬ）を、注目位置における長露光画像の輝度値ＩＬの変化量ＩＬｄと定義する。
そして、注目位置の画素についての短露光画像の輝度値ＩＳの変化量ＩＳｄに対する、同じ位置の画素についての長露光画像の輝度値ＩＬの変化量ＩＬｄの比（変化量比率）をＫで表す。変化量比率Ｋは、短露光画像の露光量に対する長露光画像の露光量の比（露光量比）に略比例し、その最小値は１である。
【００６８】
さらに、輝度加算値ＩＳＵＭに対応する合成比率テーブルＤ２の長露光画像の合成比率をβとし、合成比率βに対応する短露光画像の合成比率をα（α＝１−β）とし、合成比率曲線の傾きをＳとする。
【００６９】
このとき、注目位置における短露光画像の輝度値ＩＳ及び長露光画像の輝度値ＩＬと隣接画素についての短露光画像の輝度値ＩＳ’及び長露光画像の輝度値ＩＬ’との間には下記の式（９ａ）及び（９ｂ）で表される関係がある。
ＩＳ’＝ＩＳ＋ＩＳＵＭｄ×（１／（１＋Ｋ））      …式（９ａ）
ＩＬ’＝ＩＬ＋ＩＳＵＭｄ×（Ｋ／（１＋Ｋ））      …式（９ｂ）
【００７０】
また、注目画素についての合成比率α及びβと、隣接画素についての合成比率α’及びβ’との間には、それぞれ下記の式（１０ａ）及び（１０ｂ）で表される関係がある。
α’＝α＋Ｓ×ＩＳＵＭｄ    …式（１０ａ）
β’＝β−Ｓ×ＩＳＵＭｄ    …式（１０ｂ）
式（１０ａ）及び（１０ｂ）でＩＳＵＭｄは上記のように輝度加算値ＩＳＵＭの変化量、Ｓは合成比率テーブルで表される合成比率曲線の傾きである。
【００７１】
注目画素についての合成後の輝度値をＩＯで表し、隣接画素についての合成後の輝度値をＩＯ’で表すと、ＩＯとＩＯ’と、ＩＳ、ＩＬ、ＩＳ’、ＩＬ’との間には、下記の式（１１ａ）及び（１１ｂ）で表される関係がある。
【数５】
2017099150.tif 000007
【００７２】
式（１１ａ）及び（１１ｂ）から、下記の式（１２）が得られる。
【数６】
2017099150.tif 000008
【００７３】
輝度加算値の変化量ＩＳＵＭｄ（＝ＩＳＵＭ’−ＩＳＵＭ）に対する（ＩＯ’−ＩＯ）の変化量の比が、ＩＳＵＭｄ＝０近傍で正となっていれば、合成前の輝度値ＩＳ及びＩＬの変化の向き（増加方向か減少方向か）と合成後の輝度値ＩＯの変化の向きが同じであることとなり、互いに隣接する画素間で階調値の逆転は発生しない。
【００７４】
よって、上記の式（１２）をＩＳＵＭｄについて微分し、微分結果として得られた関数においてＩＳＵＭｄ＝０としたときの値が正となることが階調値の逆転を発生させないための条件となる。従って、階調値の逆転を発生させない条件式は下記の式（１３）で表される。
【数７】
2017099150.tif 000009
【００７５】
式（１３）は以下のようにして導かれる。
式（１２）で表される（ＩＯ’−ＩＯ）をＩＳＵＭｄについて微分すると下記の式（１４）のごとくとなる。
【数８】
2017099150.tif 000010
【００７６】
式（１４）の右辺の第３項はＩＳＵＭｄ＝０において０である。従って、式（１４）の右辺が０以上である条件は上記の式（１３）のごとくとなる。
【００７７】
式（１３）を変形すると下記の式（１５）が得られる。
【数９】
2017099150.tif 000011
【００７８】
式（１５）は、合成比率曲線の傾きＳが満たすべき条件を示している。即ち、互いに隣接する画素間で階調値の逆転を発生させないために、合成比率曲線の傾きＳは上記の式（１５）を満たす必要がある。
【００７９】
式（１５）は、傾きＳが満たすべき条件が、輝度値の差（ＩＬ−ＩＳ）、変化量比率Ｋ、並びに合成比率α及びβに依存することを示す。実施の形態１では、制限値ＳＭＡＸを、画像の特徴、例えば輝度分布に関わらず、また合成比率α及びβの値に関わらず一定としている。そこで、式（１５）の右辺が、（ＩＬ−ＩＳ）、Ｋ、α及びβの値の組合せに応じて最小となる条件を見つけ、当該最小値を、傾きＳに対する制限値と定めることとする。
以下では輝度値の差（ＩＬ−ＩＳ）をＩＤで表す。
【００８０】
本実施の形態１では、上記のように、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲では、輝度加算値ＩＳＵＭの増加に伴って合成比率β（ＩＳＵＭ）が直線的に減少する合成比率曲線を用いることとしている。言い換えれば、合成比率β（ＩＳＵＭ）に対して制限値ＳＭＡＸは固定されている。また、フレーム毎の画像の特徴、例えば輝度分布に関わらず制限値ＳＭＡＸを一定としている。
【００８１】
実施の形態１では、画像処理装置を含む撮像システムの仕様或いは使用環境から輝度値の差ＩＤ＝（ＩＬ−ＩＳ）の最大値ＩＤＭＡＸとＫ（変化量比率）の最大値ＫＭＡＸとを推定し、推定された最大値ＩＤＭＡＸ及びＫＭＡＸを用いて、制限値ＳＭＡＸを決定し、決定された制限値ＳＭＡＸをメモリ２３ａに記憶しておく。制限値ＳＭＡＸを決定するのに用いられる演算は下記の式（１６）で表される。
【数１０】
2017099150.tif 000012
【００８２】
以下では、輝度値の差ＩＤの最大値ＩＤＭＡＸが３２であり、変化量比率Ｋの最大値ＫＭＡＸが４であると推定される場合を例に取って説明する。
これらの数値を式（１６）に代入すると、
ＳＭＡＸ＝１／（５×３２）      …式（１７）
となる。
【００８３】
以下、上記の式（１６）で制限値ＳＭＡＸが決定される理由を説明する。
合成比率α及びβの値は、α＋β＝１を満たし、０から１の範囲で変化するものである。従って、式（１５）の右辺の（α＋β×Ｋ）／（１＋Ｋ）は、α＝１、β＝０であり、かつＫが最大のときに最小となり、また式（１５）の右辺は、（ＩＬ−ＩＳ）＝ＩＤが大きいほど小さくなることが分かる。
【００８４】
そこでまず、式（１５）の右辺の（ＩＬ−ＩＳ）及びＫを推定された最大値ＩＤＭＡＸ及びＫＭＡＸで置き換え、さらにα＝１、β＝０とすることで、下記の式（１８）を得る。
【数１１】
2017099150.tif 000013
【００８５】
上記の式（１８）を満たすように、傾きＳを定めれば、α、βが如何なる値であっても、階調値の逆転が起きないこととなる。このことから、制限値ＳＭＡＸを上記の式（１６）のように定めれば良いことが分かる。
【００８６】
以上のように、実施の形態１によれば、短露光画像と長露光画像の合成比率テーブルＤ２で定義される合成比率曲線の傾きＳに対し制限値ＳＭＡＸを設け、傾きＳが制限値ＳＭＡＸを超える合成比率テーブルＤ２が生成された場合（ステップＳＴ１４でＮＯの場合）には、傾きＳを小さくする補正（ステップＳＴ１５）を行うこととしている。そのため、短露光画像と長露光画像の撮影時の露光量比率の情報が得られない場合でも、階調値の逆転の発生を抑えてダイナミックレンジ拡大合成画像を生成することが可能である。
【００８７】
また、合成比率テーブルＤ２は、輝度加算値ＩＳＵＭを入力値とし、出力値である合成比率の値が途中で不連続とならないように定められるため、入力画像での輝度値のなだらかな変化に対し、合成画像で輝度値が不連続に変化することによる階調段差の発生を抑えることができる。
【００８８】
さらに、合成比率テーブルＤ２として、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲において合成比率曲線の傾きＳが一定であり、傾きＳの制限値ＳＭＡＸが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲の全体にわたり一定であるものが用いられる。従って、合成比率βを単純な式で算出できる。また、制限値ＳＭＡＸが予め定められており、合成比率βの値に関わらず固定されている。そのため、処理に必要な演算量を抑えることができる。
【００８９】
さらにまた、フレーム毎の画像の特徴、例えば輝度分布に関わらず制限値ＳＭＡＸを一定にしている。そのため、フレーム毎に（ヒストグラム生成処理部２２から２フレームの画像についてのヒストグラムが供給される毎に）制限値ＳＭＡＸを算出する必要がなく、処理に必要な演算量を抑えることができる。
【００９０】
実施の形態２．
実施の形態１では、制限値ＳＭＡＸについてフレーム毎の算出を行わないこととしているが、実施の形態２では、制限値ＳＭＡＸをフレーム毎の画像の特徴、例えば輝度分布に基づいて定める。
【００９１】
実施の形態２における合成比率テーブル生成処理部２３の処理の手順は、図９に示す如くである。
図９は、図５と概して同じであるが、ステップＳＴ１６及びＳＴ１７が付加されている。
ステップＳＴ１６では、画像の特徴、即ち短露光画像及び長露光画像の特徴、例えば輝度分布に基づいて輝度値の差の最大値ＩＤＭＡＸ及び変化量比率の最大値ＫＭＡＸの推定を行う。
ステップＳＴ１７では、ステップＳＴ１６で推定された最大値ＩＤＭＡＸ及びＫＭＡＸを用いて制限値ＳＭＡＸを決定する。
【００９２】
ステップＳＴ１６における最大値ＩＤＭＡＸ及びＫＭＡＸの推定の方法を図１０（ａ）及び（ｂ）及び図１１を参照して説明する。図１１は、ステップＳＴ１６の詳細を示す。
【００９３】
まず、ステップＳＴ３１で、画像に含まれる画素の総数をＡｍとし、０からＡｍの範囲内で、第１の指定累積度数Ａ１及び第２の指定累積度数Ａ１及びＡ２の組合せを定める。第２の指定累積度数Ａ２は第１の指定累積度数Ａ１よりも大きな値に定められる。例えば、第１の指定累積度数Ａ１と第２の指定累積度数Ａ２の差は、全画素数Ａｍの１〜５％程度の値とする。
【００９４】
第１及び第２の指定累積度数Ａ１及びＡ２の組合せは、全画素数の０％付近から、１００％付近までの範囲内で順次選択される。例えば、第１の指定累積度数Ａ１と第２の指定累積度数Ａ２の差を固定値とし、第１の指定累積度数Ａ１の値を全画素数の０％に近い値、例えば、５％から初めて、１％ずつ順に大きくし、第２の指定累積度数Ａ２が全画素数の１００％に近い値、例えば９５％に達するまで増加する。そして各々の場合について、即ち、第１及び第２の指定累積度数Ａ１及びＡ２の各組合せについて、後述のステップＳＴ３２ａ〜ＳＴ３４の処理を行う。
【００９５】
ステップＳＴ３１の次に、ステップＳＴ３２ａ〜ＳＴ３２ｄの処理を並行して行う。
ステップＳＴ３２ａでは、図１０（ｂ）に示すように、短露光画像の累積ヒストグラムＤＳにおける第１の指定累積度数Ａ１に対応する輝度値、即ち短露光画像のＡ１番目の画素の輝度値、即ち、短露光画像のヒストグラムＨＳにおいて、各輝度値を有する画素の数ＨＳ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第１の指定累積度数Ａ１に達したときの輝度値を、短露光画像における第１の対応輝度値ＩＳＡ１として検出する。
【００９６】
ステップＳＴ３２ｂでは、図１０（ａ）に示すように、長露光画像の累積ヒストグラムＤＬにおける上記第１の指定累積度数Ａ１に対応する輝度値、即ち長露光画像のＡ１番目の画素の輝度値、即ち、長露光画像のヒストグラムＨＬにおいて、各輝度値を有する画素の数ＨＬ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第１の指定累積度数Ａ１に達したときの輝度値を、長露光画像における第１の対応輝度値ＩＬＡ１として検出する。
【００９７】
ステップＳＴ３２ｃでは、図１０（ｂ）に示すように、短露光画像の累積ヒストグラムＤＳにおける第２の指定累積度数Ａ２に対応する輝度値、即ち短露光画像のＡ２番目の画素の輝度値、即ち、短露光画像のヒストグラムＨＳにおいて、各輝度値を有する画素の数ＨＳ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第２の指定累積度数Ａ２に達したときの輝度値を、短露光画像における第２の対応輝度値ＩＳＡ２として検出する。
【００９８】
ステップＳＴ３２ｄでは、図１０（ａ）に示すように、長露光画像の累積ヒストグラムＤＬにおける上記第２の指定累積度数Ａ２に対応する輝度値、即ち長露光画像のＡ２番目の画素の輝度値、即ち、長露光画像のヒストグラムＨＬにおいて、各輝度値を有する画素の数ＨＬ[Ｉｐ]を、輝度値の低い側から順次積算し、累積度数が第２の指定累積度数Ａ２に達したときの輝度値を、長露光画像における第２の対応輝度値ＩＬＡ２として検出する。
【００９９】
ステップＳＴ３２ａ〜ＳＴ３２ｄの処理が終わったら、ステップＳＴ３３及びＳＴ３４の処理を並行して行う。
なお、ステップＳＴ３３の処理は、ステップＳＴ３２ａ〜ＳＴ３２ｄのすべてが終わらなくても、ステップＳＴ３２ａ及びＳＴ３２ｄの処理が終わったら、直ちに行うこととしても良い。
【０１００】
ステップＳＴ３３では、ステップＳＴ３２ｄで求めた長露光画像における第２の対応輝度値ＩＬＡ２と、ステップＳＴ３２ａで求めた短露光画像における第１の対応輝度値ＩＳＡ１との差、即ち
ＩＬＳＤ＝（ＩＬＡ２−ＩＳＡ１）      …式（１９ａ）
で表される差ＩＬＳＤを輝度値差分（対応輝度値間の差分）として求める。
【０１０１】
ステップＳＴ３４では、短露光画像における第２の対応輝度値ＩＳＡ２と第１の対応輝度値ＩＳＡ１との差（ＩＳＡ２−ＩＳＡ１）に対する長露光画像における第２の対応輝度値ＩＬＡ２と第１の対応輝度値ＩＬＡ１との差（ＩＬＡ２−ＩＬＡ１）の比、即ち、
ＩＲＡＴＩＯ＝（ＩＬＡ２−ＩＬＡ１）／（ＩＳＡ２−ＩＳＡ１）      …式（１９ｂ）
で表される比ＩＲＡＴＩＯを差分比率として求める。
【０１０２】
ステップＳＴ３３及びＳＴ３４の処理が終わったら、ステップＳＴ３５に進む。
ステップＳＴ３５では、予定されている第１及び第２の指定累積度数Ａ１及びＡ２の組合せのすべてについてステップＳＴ３１〜ＳＴ３４の処理が終わったかどうかの判定、即ちほかに指定すべき指定累積度数Ａ１及びＡ２の組合せがあるかどうかの判定が行われる。
ほかに指定すべき累積度数Ａ１、Ａ２があれば（ＹＥＳ）、ステップＳＴ３１に戻る。その場合、ステップＳＴ３１で、予定されている第１及び第２の指定累積度数Ａ１及びＡ２の組合せのうちの次のものが選択され、選択された指定累積度数Ａ１及びＡ２の組合せを用いて、ステップＳＴ３２ａ〜ＳＴ３４の処理が繰り返される。
【０１０３】
ステップＳＴ３５でＮＯであれば、即ち、ほかに選択すべき指定累積度数Ａ１及びＡ２の組合せがなければ、即ち、すべての指定累積度数Ａ１及びＡ２の組合せについて、ステップＳＴ３２ａ〜ＳＴ３４の処理が行われたら、ステップＳＴ３６及びＳＴ３７の処理を並行して行う。
【０１０４】
ステップＳＴ３６では、ステップＳＴ３１〜ＳＴ３５を繰り返すことで、それぞれの第１及び第２の指定累積度数Ａ１及びＡ２の組合せについて求められた、複数の上記の輝度値差分（対応輝度値間の差分）ＩＬＳＤのうちの最大値ＩＬＳＤｍを求め、この最大値ＩＬＳＤｍを、輝度値の差（同一位置の画素についての長露光画像と短露光画像の輝度値の差）ＩＤ（＝（ＩＬ−ＩＳ））の推定された最大値ＩＤＭＡＸとして保存する。
【０１０５】
ステップＳＴ３７では、ステップＳＴ３１〜ＳＴ３５を繰り返すことで、それぞれの第１及び第２の指定累積度数Ａ１及びＡ２の組合せについて求められた、複数の上記の比ＩＲＡＴＩＯのうちの最大値ＩＲＡＴＩＯｍを求め、この最大値ＩＲＡＴＩＯｍを、変化量比率Ｋの推定された最大値ＫＭＡＸとして保存する。
【０１０６】
ステップＳＴ３３における差分ＩＬＳＤの決定に際し、第１の指定累積度数Ａ１と第２の指定累積度数Ａ２を同じ値にせず、互いに異なる値としているのは、短露光画像及び長露光画像の撮影タイミングのずれによる撮影条件の差異、被写体の動き等によるヒストグラムの形状変化の影響を考慮し、算出結果にマージンを持たせるためである。
【０１０７】
ステップＳＴ３６及びＳＴ３７が終わると、ステップＳＴ１６の処理が終わる。
ステップＳＴ１６の次にステップＳＴ１７の処理が行われる。
【０１０８】
ステップＳＴ１７では、推定された最大値ＩＤＭＡＸ及びＫＭＡＸを用いて、上記の式（１６）で表される演算を行って、制限値ＳＭＡＸを求める。
【０１０９】
ステップＳＴ１３及びＳＴ１７が終わるとステップＳＴ１４に進む。
ステップＳＴ１４において、実施の形態１では、予め定められた制限値ＳＭＡＸを用いて傾きＳとの比較を行ったが、実施の形態２ではステップＳＴ１７で求められた制限値ＳＭＡＸを用いて傾きＳとの比較を行う。
それ以外の点で、ステップＳＴ１４の処理は実施の形態１で説明したのと同じである。また、ステップＳＴ１５の処理は、実施の形態１で説明したのと同様である。
【０１１０】
実施の形態２では、実施の形態１と同様に、合成比率テーブルＤ２として、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲において、合成比率曲線の傾きＳが一定であり、傾きＳの制限値ＳＭＡＸが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲の全体にわたり一定であるものが用いられている。従って、合成比率βを単純な式で算出できる。そのため、処理に必要な演算量を抑えることができる。
【０１１１】
実施の形態１では、制限値ＳＭＡＸが予め定められており、フレーム毎の画像の特徴に関わらず一定であるのに対し、実施の形態２では、制限値ＳＭＡＸがフレーム毎の画像の特徴、例えば輝度分布に応じて決定される。従って、フレーム毎の画像の特徴、例えば輝度分布に応じて制限値ＳＭＡＸを算出することができる。そのため、式（１５）を満たす範囲で傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ２の生成に当たり、傾きＳが制限値ＳＭＡＸよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。
【０１１２】
なお、上記の実施の形態１及び２では、ステップＳＴ１２における合成比率テーブルの暫定的生成に当たり、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲の合成比率βの値のみならず、輝度加算値ＩＳＵＭが第１の閾値Ｔ１よりも小さい範囲及び輝度加算値ＩＳＵＭが第２の閾値Ｔ２よりも大きい範囲の合成比率βの値をも暫定的に決定している。
しかしながら、この点は必須ではなく、ステップＳＴ１２では、輝度加算値ＩＳＵＭが第１の閾値Ｔ１よりも小さい範囲及び輝度加算値ＩＳＵＭが第２の閾値Ｔ２よりも大きい範囲の合成比率βの値を決定せず、輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲の合成比率βの値のみを暫定的に定め、ステップＳＴ１４でＹＥＳとの判定がなされたときに、輝度加算値ＩＳＵＭが第１の閾値Ｔ１よりも小さい範囲及び輝度加算値ＩＳＵＭが第２の閾値Ｔ２よりも大きい範囲の合成比率βの値を決定し、ステップＳＴ１２で暫定的に決定された輝度加算値ＩＳＵＭが第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲の合成比率βの値と組み合わせることで、合成比率テーブルを完成させることとしても良い。
【０１１３】
実施の形態３．
上記のように、実施の形態１及び２では、合成比率テーブルとして、図４に実線Ｃ１１で例示するように、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲における合成比率の値が直線的に変化するものを用いている。これに対し、実施の形態３では、合成比率テーブルとして、図４に破線Ｃ１２で例示するように、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲における合成比率の値が曲線に沿って、単調に変化し、合成比率の変化の傾きＳも単調に変化するものが用いられる。例えば、合成比率テーブルＤ２として、長露光画像の合成比率β（ＩＳＵＭ）を輝度加算値ＩＳＵＭの関数として下記の式（２０）で定義されるものが用いられる。
【数１２】
2017099150.tif 000014
【０１１４】
式（２０）で、ｅは自然対数の底を示し、ｘ＾ｙはｘのｙ乗を示す。
ａ、ｃ及びｄは定数であり、定数ａ及びｄは負の値である。
【０１１５】
上記の式（２０）は、指数関数を表すものであり、従って、式（２０）で定義される合成比率βは、指数関数で表される曲線に沿って変化するものである。
【０１１６】
図４に実線Ｃ１１で示される合成比率曲線は、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲において傾きＳが一定であるが、図４に破線Ｃ１２で示される合成比率曲線は、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲において、傾きＳが次第に減少している。実施の形態１では、制限値ＳＭＡＸを、合成比率βの値に関わらず一定としているが、実施の形態３では、制限値ＳＭＡＸを合成比率βの値に応じて変化させる。
【０１１７】
実施の形態３では、実施の形態１と同様に、画像処理装置が組み込まれる撮像システムの仕様或いは使用環境から輝度値の差の最大値ＩＤＭＡＸと変化量比率の最大値ＫＭＡＸとを推定し、推定された最大値ＩＤＭＡＸ及びＫＭＡＸを用いて制限値ＳＭＡＸを決定する。具体的には、制限値ＳＭＡＸとして、β＝１のときの制限値ＳＭＡＸ１とβ＝０のときの制限値ＳＭＡＸ２とを決定し、決定された制限値ＳＭＡＸ１及びＳＭＡＸ２をメモリ２３ａに記憶しておく。
【０１１８】
制限値ＳＭＡＸ１を決定するのに用いられる演算は下記の式（２１ａ）で表され、制限値ＳＭＡＸ２を決定するのに用いられる演算は下記の式（２１ｂ）で表される。
【数１３】
2017099150.tif 000015
【０１１９】
以下では、実施の形態１と同じく、輝度値の差の最大値ＩＤＭＡＸが３２であり、変化量比率の最大値ＫＭＡＸが４であると推定される場合を例に取って説明する。
これらの数値を式（２１ａ）及び（２１ｂ）に代入すると、
【０１２０】
ＳＭＡＸ１＝１／（２×３２）      …式（２２ａ）
ＳＭＡＸ２＝１／（５×３２）      …式（２２ｂ）
となる。
【０１２１】
以下、上記の式（２１ａ）及び（２１ｂ）で、制限値ＳＭＡＸ１及びＳＭＡＸ２が決定される理由を説明する。
【０１２２】
最初に、式（２１ａ）について説明する。
上記のように、合成比率α及びβの値は、α＋β＝１を満たし、０から１の範囲で変化するものである。従って、式（１５）の右辺の（α＋β×Ｋ）／（１＋Ｋ）は、β＝１（従って、α＝０）である場合、Ｋが小さいほど、小さくなり、（ＩＬ−ＩＳ）＝ＩＤが大きいほど小さくなることが分かる。
【０１２３】
そこでまず、式（１５）の右辺の（ＩＬ−ＩＳ）を推定された最大値ＩＤＭＡＸで置き換え、Ｋを最小値である１で置き換え、さらにα＝０、β＝１とすることで、下記の式（２３）を得る。
【数１４】
2017099150.tif 000016
【０１２４】
β＝１のときに、上記の式（２３）を満たすように、傾きＳを定めれば、β＝１のときに、階調値の逆転が起きないこととなる。従って、式（２３）の右辺の値をβ＝１のときの制限値ＳＭＡＸ１とすれば良いことになる。このことから、制限値ＳＭＡＸ１を上記の式（２１ａ）のように定めれば良いことが分かる。
【０１２５】
次に、式（２１ｂ）について説明する。
上記のように、合成比率α及びβの値は、α＋β＝１を満たし、０から１の範囲で変化するものである。従って、式（１５）の右辺の（α＋β×Ｋ）／（１＋Ｋ）は、β＝０(従って、α＝１)である場合、Ｋが大きいほど、小さくなり、（ＩＬ−ＩＳ）＝ＩＤが大きいほど小さくなることが分かる。
【０１２６】
そこでまず、式（１５）の右辺の（ＩＬ−ＩＳ）及びＫを推定された最大値ＩＤＭＡＸ及びＫＭＡＸで置き換え、さらにα＝１、β＝０とすることで、下記の式（２４）を得る。
【数１５】
2017099150.tif 000017
【０１２７】
β＝０のときに、上記の式（２４）を満たすように、傾きＳを定めれば、β＝０のときに、階調値の逆転が起きないこととなる。従って、式（２４）の右辺の値をβ＝０のときの制限値ＳＭＡＸ２とすれば良いことになる。このことから、制限値ＳＭＡＸ２を上記の式（２１ｂ）のように定めれば良いことが分かる。
【０１２８】
以上のように式（２１ａ）及び（２１ｂ）で表される演算を行うことにより制限値ＳＭＡＸ１及びＳＭＡＸ２を求める処理が予め行われ、求められた制限値ＳＭＡＸ１及びＳＭＡＸ２がメモリ２３ａに記憶されている。
【０１２９】
次に、実施の形態３における合成比率テーブルの生成の処理の手順を、図１２を参照して説明する。
図１２でステップＳＴ１１における処理は、実施の形態１に関し、図５及び図６を参照して説明したのと同じである。
ステップＳＴ１１の次にステップＳＴ４１に進む。
【０１３０】
ステップＳＴ４１では、式（２０）の定数ａ、ｃ及びｄを暫定的に決定する。
即ち、ＩＳＵＭ＝Ｔ１において、β（ＩＳＵＭ）＝１でかつＳ≦ＳＭＡＸ１を満たし、β（ＩＳＵＭ）＝０でかつＳ＜ＳＭＡＸ２を満たすように、定数ａ、ｃ及びｄを暫定的に決定する。
【０１３１】
そして、このようにして定数ａ、ｃ及びｄが決定された式（２０）が、ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）≦０を満たすか否かの判定を行う。
この判定を行うことで、ＩＳＵＭ＝Ｔ１において、β（ＩＳＵＭ）＝１でかつＳ≦ＳＭＡＸ１を満たし、ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）＝０でかつＳ＜ＳＭＡＸ２を満たす合成比率テーブルへの補正が可能か否かを判定することができる。
以下、これらの点について説明する。
【０１３２】
式（２０）をＩＳＵＭで微分すると、下記の式（２５）が得られる。
【数１６】
2017099150.tif 000018
式（２５）で、β’（ＩＳＵＭ）はβ（ＩＳＵＭ）の導関数を表す。
【０１３３】
式（２０）と式（２５）とを組合せて整理すると、下記の式（２６）が得られる。
【数１７】
2017099150.tif 000019
式（２６）は、β’（ＩＳＵＭ）をβ（ＩＳＵＭ）の関数として表わしたものである。
【０１３４】
式（２６）におけるβ’（ＩＳＵＭ）は合成比率テーブルＤ２において輝度加算値ＩＳＵＭに対応するβ（ＩＳＵＭ）の変化の傾きＳを示す値である。即ち、下記の式（２７）の関係がある。
β’（ＩＳＵＭ）＝Ｓ          …式（２７）
【０１３５】
従って、式（２６）を、
【数１８】
2017099150.tif 000020
と書き換えることができる。
【０１３６】
よって、β＝１のときに傾きＳが満たすべき条件を示す式（２３）と、式（２８）とから
【数１９】
2017099150.tif 000021
が得られる。
【０１３７】
式（２９）において、ＩＤＭＡＸ＝３２であれば、
ａ×１−ａ×ｄ≦１／（２×３２）  …式（３０）
【０１３８】
また、β＝0のときに傾きＳが満たすべき条件を示す式（２４）と、式（２８）とから
【数２０】
2017099150.tif 000022
が得られる。
【０１３９】
式（３１）において、ＩＤＭＡＸ＝３２、ＫＭＡＸ＝４であれば、
ａ×０−ａ×ｄ≦１／（５×３２）  …式（３２）
【０１４０】
これらの式（２９)及び（３１）又は式（３０)及び（３２）を、式（２０）における定数ａ及びｄが満たすべき条件を表すものとして用いることができる。
【０１４１】
また、式（２０）において、ＩＳＵＭ＝Ｔ１のときのβ（ＩＳＵＭ）の値を１と規定することで、定数ｃ及びｄが満たすべき更なる条件を求める。
即ち、式（２０）において、ＩＳＵＭ＝Ｔ１、β（ＩＳＵＭ）＝１と置き、
１＝ｃ＋ｄ  …式（３３）
を得る。この式を、定数ｃ及びｄが満たすべき、さらなる条件を表すものとして用いることができる。即ち、定数ｄが求まれば、式（３３）により、定数ｃを求めることができる。
【０１４２】
式（２９）及び（３１）、又は式（３０）及び（３２）において左辺と右辺が等しい場合と、式（３３）との組合せにより定数ａ、ｃ及びｄの組合せを求める。即ち、式（２９）及び（３１）、又は式（３０）及び（３２）の左辺と右辺とが等しい場合を連立方程式として解き、定数ａ及びｄを求める。そして、求めた定数ｄを式（３３）に代入することで、定数ｃを求める。
そしてこのようにして求められた定数ａ、ｃ及びｄの値を式（２０）に代入する。
【０１４３】
ステップＳＴ４１の次にステップＳＴ４２に進む。
ステップＳＴ４２では、ステップＳＴ４１で定数ａ、ｃ及びｄが暫定的に定められた式（２０）が、ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）≦０を満たすか否かの判定を行う。ＩＳＵＭ＝Ｔ２におけるβ（ＩＳＵＭ）をβ（Ｔ２）と表すと、ステップＳＴ４２における判定は、β（Ｔ２）≦０を満たすか否かの判定と書き換えることができる。
【０１４４】
ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）≦０を満たす場合には、式（２９）、（３１）及び（３３）を満たし、なおかつＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）＝０とする定数ａ、ｃ及びｄの組合せを算出することが可能なので、条件を満たす定数ａ、ｃ及びｄを求める。
【０１４５】
即ち、ステップＳＴ４２でＹＥＳの場合には、ＩＳＵＭ＝Ｔ１において、β（ＩＳＵＭ）＝１を満たし、ＩＳＵＭ＝Ｔ２において、β（ＩＳＵＭ）＝０を満たし、ＩＳＵＭ＝Ｔ１においてＳ≦ＳＭＡＸ１を満たし、ＩＳＵＭ＝Ｔ２においてＳ≦ＳＭＡＸ２を満たすように定数ａ、ｃ及びｄを定めることが可能であることを意味する。従って、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲の全体において、傾きＳを制限値以下にすることができる。その意味で、ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）≦０を満たすか否かの判定は、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲の全体において、傾きＳが制限値以下であるか否かの判定と等価であると言える。
【０１４６】
ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）＝０の場合には、傾きＳをさらに小さくすると、ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）＞０になってしまう場合である。一方、ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）＜０の場合には、傾きＳをより小さくすることが可能である。そこで、この場合には、補正をして傾きＳをより小さくする。
【０１４７】
具体的には、ステップＳＴ４２でＹＥＳの場合には、ステップＳＴ４３に進む。
ステップＳＴ４３では、ＩＳＵＭ＝Ｔ２において、β（ＩＳＵＭ）＝０かβ（ＩＳＵＭ）＜０かの判定を行う。
【０１４８】
ステップＳＴ４３で、β（ＩＳＵＭ）＝０であれば、ステップＳＴ４６に進む。ステップＳＴ４３で、β（ＩＳＵＭ）＜０であれば、ステップＳＴ４４に進む。
【０１４９】
ステップＳＴ４４では、ＩＳＵＭ＝Ｔ２におけるβ（ＩＳＵＭ）、即ちβ（Ｔ２）が０に等しくなるように定数ａを補正する。
【０１５０】
即ち、β（ＩＳＵＭ）＜０の場合には、合成比率曲線は例えば図１３（ａ）に符号Ｃ２１で示す如くとなる。そこで、この曲線Ｃ２１において、β（ＩＳＵＭ）＝０となる輝度加算値ＩＳＵＭをＴ３として求める。そして定数ａを
【数２１】
2017099150.tif 000023
に補正する。このように補正することで、定数ａが補正された式（２０）で表される合成比率曲線（第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲）が、図１３（ａ）に符号Ｃ２２で示す如くとなり、β（Ｔ２）＝０となるようにする。
【０１５１】
ステップＳＴ４２で、ＮＯの場合、即ち、ＩＳＵＭ＝Ｔ２においてβ（ＩＳＵＭ）＞０となる場合には、合成比率曲線は例えば図１３（ｂ）に符号Ｃ２３で示す如くとなる。この場合のＩＳＵＭ＝Ｔ２におけるβ（ＩＳＵＭ）の値をβＴ２で表す。その場合、ステップＳＴ４５に進む。ステップＳＴ４５では、式（２０）の定数ｄを
ｄ’＝ｄ−βＴ２      …式（３５）
により補正する。
このように補正することで、βＴ２を１から差し引いた値(１−βＴ２)を、輝度加算値ＩＳＵＭが第１の閾値Ｔ１に等しいときの合成比率βＴ１の、補正後の値βＴ１ｃとする。
【０１５２】
以上のようにして、補正後の値ｄ’及びβＴ１ｃが求まったら、式（３３）の代わりに、
ｃ’＋ｄ’＝βＴ１ｃ            …式（３６）
を用いて、この式（３６）を満たすｃ’を求める。
【０１５３】
定数ｃ及びｄが補正された式（２０）で表される合成比率曲線の第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲は、図１３（ｂ）に符号Ｃ２４で示す如くとなる。
【０１５４】
ステップＳＴ４３でＹＥＳの場合、及びステップＳＴ４４又はＳＴ４５の処理の後に、ステップＳＴ４６に進む。
ステップＳＴ４６では、ステップＳＴ４１、ステップＳＴ４４又はＳＴ４５で定められた定数ａ、ｃ及びｄを式（２０）に代入し、ＩＳＵＭとして第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲内の複数の異なる値を順次代入して、β（ＩＳＵＭ）の対応する値を求めることで、合成比率テーブルのうちの第１の閾値Ｔ１から第２の閾値Ｔ２までの部分を生成する。
【０１５５】
ステップＳＴ４３でＹＥＳとなって、ステップＳＴ４６に進んだ場合には、ステップＳＴ４１で暫定的に決定された定数ａ、ｃ及びｄが用いられる。
ステップＳＴ４４の処理を経てステップＳＴ４６に進んだ場合には、ステップＳＴ４４で補正された定数ａと、ステップＳＴ４１で暫定的に決定された定数ｃ及びｄとが用いられる。
ステップＳＴ４５の処理を経てステップＳＴ４６に進んだ場合には、ステップＳＴ４５で補正された定数ｃ及びｄと、ステップＳＴ４１で暫定的に決定された定数ａとが用いられる。
【０１５６】
合成比率テーブルＤ２のうちの輝度加算値ＩＳＵＭが第１の閾値Ｔ１よりも小さい範囲における合成比率β（ＩＳＵＭ）の値は、輝度加算値ＩＳＵＭが第１の閾値Ｔ１に等しいときの合成比率β（ＩＳＵＭ）と同じ値とされる。合成比率テーブルＤ２のうちの輝度加算値ＩＳＵＭが第２の閾値Ｔ２よりも大きい範囲における合成比率β（ＩＳＵＭ）の値は、輝度加算値ＩＳＵＭが第２の閾値Ｔ２に等しいときの合成比率β（ＩＳＵＭ）と同じ値とされる。
このようにして生成された合成比率テーブルはメモリ２３ａに記憶される。
ステップＳＴ４６の次に処理を終了する。
【０１５７】
以上、合成比率曲線が指数関数で表されるものであるとして説明したが、指数関数で表される曲線に近似する曲線、例えば折れ線近似する曲線であっても良い。
【０１５８】
実施の形態３では、合成比率テーブルとして、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲において合成比率が曲線に沿って変化し、傾きＳの制限値ＳＭＡＸが合成比率βの値に応じて変わるものが用いられる。
【０１５９】
即ち、実施の形態３では、合成比率テーブルＤ２で表される合成比率曲線は、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲では、傾きＳが一定ではなく変化する曲線で構成される。
このようにすると、制限値ＳＭＡＸに対する制約を緩やかにすることができる。即ち、制限値ＳＭＡＸを固定値とする場合に比べ演算量は増加するものの、式（１５）を満たす範囲で、傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ２の生成に当たり、傾きＳが制限値ＳＭＡＸよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。
【０１６０】
さらに、実施の形態３では、実施の形態１と同様に、フレーム毎の画像の特徴、例えば輝度分布に関わらず制限値ＳＭＡＸを一定にするので、フレーム毎に（ヒストグラム生成処理部２２から２フレームの画像についてのヒストグラムが供給される毎に）制限値ＳＭＡＸを算出する必要がない。そのため、処理に必要な演算量を抑えることができる。
【０１６１】
実施の形態４．
上記のように、実施の形態３では、制限値ＳＭＡＸを合成比率βの値に応じて変化させる一方、制限値ＳＭＡＸの算出を、フレーム毎には行わないこととしている。これに対し、実施の形態４では、実施の形態３と同様に、制限値ＳＭＡＸを合成比率βの値に応じて変化させるとともに、実施の形態２と同様に、短露光画像及び長露光画像の特徴、例えば、輝度分布に基づき算出する。
【０１６２】
実施の形態４における合成比率テーブル生成処理部２３の処理の手順は、図１４に示す如くである。
図１４は、図１２と概して同じであるが、ステップＳＴ１６及びステップＳＴ４７が付加されている。
ステップＳＴ１６では実施の形態２で述べたのと同様に、画像の特徴、即ち、短露光画像及び長露光画像の特徴、例えば輝度分布に基づいて最大値ＩＤＭＡＸ及びＫＭＡＸの推定を行う。
【０１６３】
ステップＳＴ４７では、ステップＳＴ１６で推定された最大値ＩＤＭＡＸ及びＫＭＡＸを用いて制限値ＳＭＡＸ１及びＳＭＡＸ２の決定を行う。
その決定の方法は実施の形態３で説明したのと同様である。
ステップＳＴ４１以降の処理は、実施の形態３と同じである。
【０１６４】
実施の形態４では、実施の形態３と同様に、合成比率テーブルとして、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲において合成比率βが曲線に沿って変化し、傾きＳの制限値ＳＭＡＸが合成比率βの値に応じて変わるものが用いられる。
【０１６５】
即ち、実施の形態４では、実施の形態３と同様に、合成比率テーブルＤ２で表される合成比率曲線は、第１の閾値Ｔ１から第２の閾値Ｔ２までの範囲では、直線ではなく、傾きＳが変化する曲線で構成される。
このようにすると、制限値ＳＭＡＸに対する制約を緩やかにすることができる。即ち、制限値ＳＭＡＸを固定値とする場合に比べ演算量は増加するものの、式（１５）を満たす範囲で傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ２の生成に当たり、傾きＳが制限値ＳＭＡＸよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。
【０１６６】
また、実施の形態３では、制限値ＳＭＡＸ（或いはＳＭＡＸ１及びＳＭＡＸ２）が予め定められており、フレーム毎の画像の特徴に関わらず一定であるのに対し、実施の形態４では、制限値ＳＭＡＸ（或いはＳＭＡＸ１及びＳＭＡＸ２）が画像の特徴、例えば輝度分布に応じて調整される。そのため、式（１５）を満たす範囲で傾きＳとして、より大きな値を設定し易くなる。そのため、合成比率テーブルＤ２の生成に当たり、傾きＳが制限値ＳＭＡＸ（或いはＳＭＡＸ１及びＳＭＡＸ２）よりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。
【０１６７】
実施の形態５．
図１５に実施の形態５における画像処理装置の構成を示す。図１５の画像処理装置は図１の画像処理装置と概して同じであるが、図１５では、輝度計測処理部２８が追加されている。
【０１６８】
輝度計測処理部２８は、入力された各フレームの画像を、予め定められた複数の領域に分割し、領域毎に領域内に含まれる画素の輝度値の最大値及び最小値を輝度指標値として計測する。計測により得られた輝度指標値は輝度計測処理部２８内で１フレーム期間バッファリングされ、直近２フレームの輝度指標値が出力される。
【０１６９】
実施の形態５における合成比率テーブル生成処理部２３の処理の手順は、図９に示す如くである。但し、ステップＳＴ１６における最大値ＩＤＭＡＸ及びＫＭＡＸの推定が実施の形態２とは異なり、輝度計測処理部２８から出力された輝度指標値に基づいて行われる。
【０１７０】
即ち、実施の形態５で用いられる合成比率テーブル生成処理部２３は、長露光画像及び短露光画像を複数の領域（分割領域）に分割し、分割領域毎に、長露光画像と短露光画像の輝度値の最大値及び最小値を、輝度指標値として求め、すべての分割領域について求められた、複数の上記の輝度指標値に基づいて輝度値の差の最大値ＩＤＭＡＸ及び変化量比率の最大値ＫＭＡＸを推定する。
【０１７１】
図１６は、実施の形態５におけるステップＳＴ１６の詳細を示す。
ステップＳＴ５１では、長露光画像の複数の分割領域の一つを選択するとともに、短露光画像の複数の分割領域の一つを選択する。この際、長露光画像と短露光画像とで同じ位置の分割領域の一つを選択する。
分割領域は例えば矩形の領域であって、画像を１以上の垂直方向の直線及び１以上の水平方向の直線で区切ることで生成される領域である。
ステップＳＴ５１の次にステップＳＴ５２に進む。
【０１７２】
ステップＳＴ５２では、短露光画像の選択された分割領域内の最大値を領域内最大輝度値ＩＳＭＸとして求め、輝度値ＩＳ（ｘ，ｙ）の最小値を領域内最小輝度値ＩＳＭＮとして求め、長露光画像の選択された分割領域内の輝度値ＩＬ（ｘ，ｙ）の最大値を領域内最大輝度値ＩＬＭＸとして求め、最小値を領域内最小輝度値ＩＬＭＮとして求める。
ステップＳＴ５２の次にステップＳＴ５３及びＳＴ５４を並行して行う。
【０１７３】
ステップＳＴ５３では、同じ位置の分割領域についての長露光画像の領域内最大輝度値ＩＬＭＸと短露光画像の領域内最小輝度値ＩＳＭＮとの差分ＩＸＮＤ、即ち、
ＩＸＮＤ＝ＩＬＭＸ−ＩＳＭＮ
で与えられる差分を、当該分割領域についての輝度値差分（領域内最大輝度値と領域内最小輝度値との差分）として求める。
【０１７４】
ステップＳＴ５４では、同じ位置の分割領域についての短露光画像の領域内最大輝度値ＩＳＭＸと領域内最小輝度値ＩＳＭＮの差（ＩＳＭＸ−ＩＳＭＮ）に対する、長露光画像の領域内最大輝度値ＩＬＭＸと領域内最小輝度値ＩＬＭＮの差（ＩＬＭＸ−ＩＬＭＮ）の比、即ち、
ＩＲＴＯ＝（ＩＬＭＸ−ＩＬＭＮ）／（ＩＳＭＸ−ＩＳＭＮ）
で与えられる比を、当該分割領域についての差分比率として求める。
【０１７５】
ステップＳＴ５３及びＳＴ５４の次にステップＳＴ５５に進む。
ステップＳＴ５５では、すべての分割領域についてステップＳＴ５１〜ＳＴ５４の処理が終わったか、即ち尚も選択すべき分割領域があるか否かの判定を行う。
ステップＳＴ５５でＹＥＳであれば、即ち、選択すべき分割領域が残っていれば、ステップＳＴ５１に戻る。その場合、ステップＳＴ５１で次の分割領域が選択され、選択した分割領域についてステップＳＴ５２〜ＳＴ５４の処理が繰り返される。
【０１７６】
ステップＳＴ５５でＮＯであれば、即ち、ほかに選択すべき分割領域がなければ、即ち、すべての分割領域についてステップＳＴ５２〜ＳＴ５４の処理が行われたら、ステップＳＴ５６及びＳＴ５７の処理を並行して行う。
【０１７７】
ステップＳＴ５６では、ステップＳＴ５１で選択されたすべての分割領域についてそれぞれ求められた、複数の輝度値差分（領域内最大輝度値と最小輝度値との差分）ＩＸＮＤの最大値ＩＸＮＤＭＸを求め、この最大値ＩＸＮＤＭＸを、輝度値の差（同一位置の画素についての長露光画像と短露光画像の輝度値の差）ＩＤ（＝（ＩＬ−ＩＳ））の推定された最大値ＩＤＭＡＸとして保存する。
【０１７８】
ステップＳＴ５７では、ステップＳＴ５１で選択されたすべての分割領域についてそれぞれ求められた、複数の差分比率ＩＲＴＯの最大値ＩＲＴＯＭＸを求め、この最大値ＩＲＴＯＭＸを、変化量比率Ｋの推定された最大値ＫＭＡＸとして保存する。
ステップＳＴ３６及びＳＴ３７が終わると、ステップＳＴ１６の処理が終わる。
【０１７９】
以上のように、ステップＳＴ１６では、長露光画像及び短露光画像が複数の領域（分割領域）に分割され、分割領域毎に、長露光画像と短露光画像の輝度値の最大値及び最小値が輝度指標値として求められ、すべての分割領域について求められた、複数の上記の輝度指標値に基づいて輝度値の差の最大値ＩＤＭＡＸ及び変化量比率の最大値ＫＭＡＸが推定される。
【０１８０】
ステップＳＴ１６の次にステップＳＴ１７の処理が行われる。
ステップＳＴ１１〜ＳＴ１３の処理、及びＳＴ１７以降の処理は、実施の形態２と同様である。
【０１８１】
以下、実施の形態２と比較したときの実施の形態５の利点を説明する。
実施の形態２では、長露光画像と短露光画像とで、累積ヒストグラムにおける累積度数が同じ画素（輝度値の低い側から数えたときの順序が同じ画素）は、画像中の同じ位置或いは互いに近い位置にある画素であるとの前提に立ち、累積度数に対応する輝度値ＩＬＡ１、ＩＬＡ２、ＩＳＡ１及びＩＳＡ２を求め、これらの差（ＩＬＡ２−ＩＳＡ１）、（ＩＬＡ２−ＩＬＡ１）、及び（ＩＳＡ２−ＩＳＡ１）を用いて、輝度値の差の最大値ＩＤＭＡＸ及び変化量比率の最大値ＫＭＡＸを推定し、これらの推定値を用いて制限値ＳＭＡＸを算出している。
【０１８２】
フレーム間での被写体の動きがあると、長露光画像及び短露光画像の各々において、輝度値の低い側から数えた画素の順位（当該輝度値に対応する累積度数）と、画素位置との関係にずれが生じ得る。このため、実施の形態２に記載した方法で制限値ＳＭＡＸを決定する場合、長露光画像において、その累積ヒストグラムＤＬから得られた、累積度数に対応する輝度値ＩＬＡ１、ＩＬＡ２を有する画素と、短露光画像において、その累積ヒストグラムＤＳから得られた、累積度数に対応する輝度値ＩＳＡ１、ＩＳＡ２を有する画素の位置が、互いに大きく異なり、そのため、それらの差分（ＩＬＡ２−ＩＬＡ１）、（ＩＬＡ２−ＩＬＡ１）、及び（ＩＳＡ２−ＩＳＡ１）が、動きの影響で大きく異なるものとなり、制限値ＳＭＡＸの算出精度が低下するおそれがある。
【０１８３】
即ち、フレーム間で被写体の動きがない場合に、長露光画像と短露光画像とで同じ位置の画素の輝度値に違いがあっても、長露光画像内における画素相互間における輝度値の大小関係と、短露光画像内における画素相互間における輝度値の大小関係は殆ど同じである。そのため、長露光画像と短露光画像とで、それらの累積ヒストグラムにおいて同じ累積度数に対応する画素（輝度値の低い側から数えたときの順位が同じ画素）は、画面上で同一の位置又は近くの位置にある。
【０１８４】
一方、フレーム間で被写体の動きがある場合、長露光画像と短露光画像とで、被写体の各部が占める面積の比率が変化し得る。すると、長露光画像と短露光画像とで、それらの累積ヒストグラムにおいて同じ累積度数に対応する画素（輝度値の低い側から数えたときの順位が同じ画素）は、同じ位置にあるとは限らず、長露光画像と短露光画像とで、累積ヒストグラムにおいて同じ累積度数に対応する画素（輝度値の低い側から数えたときの順位が同じ画素）の位置相互間にずれが生じる。言い換えると、累積ヒストグラムにおける累積度数（輝度値の低い側から数えたときの順位）と、画素位置との間にずれが生じる。
上記のように、実施の形態２では、累積ヒストグラムにおける累積度数が同じ画素が、画面上の同じ位置或いは互いに近い位置にあることを前提とするが、被写体に動きがあると、この前提が崩れる。その結果、制限値ＳＭＡＸの算出精度が低下する。
【０１８５】
これに対し、実施の形態５では、長露光画像及び短露光画像の各分割領域内の輝度値の最大値ＩＬＭＸ及びＩＳＭＸと、最小値ＩＬＭＮ及びＩＳＭＮとを求め、これらの差（ＩＬＭＸ−ＩＳＭＮ）、（ＩＬＭＸ−ＩＬＭＮ）、及び（ＩＳＭＸ−ＩＳＭＮ）を用いて、輝度値の差の最大値ＩＤＭＡＸ及び変化量比率の最大値ＫＭＡＸとを推定し、これらの推定値を用いて制限値ＳＭＡＸを算出している。
同じ分割領域内の画素は、同一又は近くに位置する画素である。従って、動きがあっても最大値ＩＬＭＸ及びＩＳＭＸと最小値ＩＬＭＮ及びＩＳＭＮとの差（ＩＬＭＸ−ＩＳＭＮ）、（ＩＬＭＸ−ＩＬＭＮ）、及び（ＩＳＭＸ−ＩＳＭＮ）は、動きの影響を受けにくい。そのため、制限値ＳＭＡＸの算出を高精度で行い得る。
【０１８６】
以上実施の形態５を実施の形態２に対する変形として説明した、実施の形態４に対しても同様の変形を加えることができる。
【０１８７】
上記の実施の形態１〜５では、ヒストグラムとして、各輝度値を有する画素の出現度数を表すものが生成される。しかし、本発明はこれに限定されない。例えば各々複数の輝度値から成る複数の階級の各々について該階級内の輝度値を有する画素の出現度数を表すヒストグラムが生成される場合にも本発明は適用可能である。各輝度値を有する画素の出現度数を表すヒストグラムは、各階級に属する輝度値の数が１である場合に相当する。
上記の実施の形態では、累積ヒストグラムとして、低輝度側からの累積度数を表すものが生成される。しかし、本発明はこれに限定されない。累積ヒストグラムとして、高輝度側からの累積度数を表すものを生成することとしても良い。
【０１８８】
以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。
【０１８９】
以上実施の形態１〜５において、画像処理装置２０の各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵであっても良い。
例えば、図１又は図１５の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。
【０１９０】
処理回路がＣＰＵの場合、画像処理装置の各部分の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、メモリに格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像処理装置は、処理回路により実行されるときに、図１又は図１５に示される各部分の機能が、結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、画像処理装置で実施される画像処理方法における処理の方法、或いはその手順をコンピュータに実行させるものであるともいえる。
【０１９１】
なおまた、画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せによって、上述の各機能を実現することができる。
【０１９２】
図１７に上記の処理回路を構成する単一のＣＰＵを含むコンピュータ（符号５０で示す）で画像処理装置のすべての機能を実現する場合の構成の一例を、カメラ１０とともに示す。コンピュータ５０とカメラ１０とで撮像システムが構成されている。
図１７に示されるコンピュータ５０は、ＣＰＵ５１と、メモリ５２と、入力インターフェース５３と、出力インターフェース５４とを備え、これらはバス５５で接続されている。
入力インターフェース５３には、カメラ１０からの画像データＰ１が入力される。
【０１９３】
ＣＰＵ５１は、メモリ５２に記憶されたプログラムに従って動作し、入力インターフェース５３を介して入力された画像データに対して、実施の形態１〜５の画像処理装置の各部の処理を行って、処理の結果得られた合成画像の画素値を示す信号を出力インターフェース５４から出力する。
ＣＰＵ５１による処理の内容は、実施の形態１〜５で説明したのと同様である。
【０１９４】
画像処理装置で実施される画像処理方法、画像処理装置の各部分の処理、或いは画像処理方法における各処理をコンピュータに実行させるプログラム及び該プログラムを記録したコンピュータで読取り可能な記録媒体についても、画像処理装置について述べたのと同様の効果が得られる。
【符号の説明】
【０１９５】
１０  カメラ、  ２０  画像処理装置、  ２１  カメラＩ／Ｆ、  ２２  ヒストグラム生成処理部、  ２２ａ  メモリ、  ２３  合成比率テーブル生成処理部、  ２３ａ  メモリ、  ２４  フレームバッファ、  ２５  輝度値加算処理部、  ２６  合成比率生成処理部、  ２８  輝度計測処理部、  ５１  ＣＰＵ、  ５２  メモリ、  ５３  入力インターフェース、  ５４  出力インターフェース。
【図１】
2017099150.tif 000025
【図２】
2017099150.tif 000026
【図３】
2017099150.tif 000027
【図４】
2017099150.tif 000028
【図５】
2017099150.tif 000029
【図６】
2017099150.tif 000030
【図７】
2017099150.tif 000031
【図８】
2017099150.tif 000032
【図９】
2017099150.tif 000033
【図１０】
2017099150.tif 000034
【図１１】
2017099150.tif 000035
【図１２】
2017099150.tif 000036
【図１３】
2017099150.tif 000037
【図１４】
2017099150.tif 000038
【図１５】
2017099150.tif 000039
【図１６】
2017099150.tif 000040
【図１７】
2017099150.tif 000041
【国際調査報告】
2017099150.tif 000042
2017099150.tif 000043
2017099150.tif 000044
2017099150.tif 000045