(57)【要約】【課題】コントラストの良好な画像を得ることができる画像処理装置及び画像処理方法を提供する。【解決手段】本発明は、高コントラスト画像（ＨＣＰ）に基づきそれよりも階調幅の狭い出力画像（ＯＰ）を生成する画像処理装置(10)であり、複数枚の入力画像（ＭＩＰ）から基準画像（ＢＰ）を選定する選定手段(11)と、ＢＰを除いた残りの入力画像（ＮＢＰ）についてＢＰとの輝度比率をゲインとして算出する算出手段１(11)と、ＮＢＰに適用する重み１を算出し、重み１を用いてＭＩＰを重み付け合成演算した結果の画像データの輝度成分情報に基づき重み２を算出する算出手段２(11)と、重み１と重み２を用いてＭＩＰの重み付け合成を行い、ＨＣＰを生成する生成手段１(11)と、ＨＣＰの輝度分布の形状の情報と変換目標の輝度分布の形状の情報とに基づき階調変換曲線を作成する作成手段(11)と、階調変換曲線に基づきＨＣＰの階調変換を行い、階調幅の狭いＯＰを生成する生成手段２(11)を備える。【選択図】  図１
2011166728.tif 000002
【特許請求の範囲】
【請求項１】
同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、前記高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理装置であって、
前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手段と、
前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手段と、
算出された前記ゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第１の重みを算出すると共に、前記第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第２の重みを算出する重み算出手段と、
算出された前記第１の重みと前記第２の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより前記高コントラスト画像を生成する中間画像生成手段と、
生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手段と、
作成された前記階調変換曲線に基づき前記高コントラスト画像の階調変換を行い、該高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記選定手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の入力画像を、前記複数枚の中から前記基準画像として選定する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記ゲイン算出手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率を前記ゲインとして算出する
ことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
前記重み算出手段は、
算出された前記ゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように前記第１の重みを算出し、
算出された前記ゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように前記第１の重みを算出する
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４の何れか一項に記載の画像処理装置において、
前記重み算出手段は、前記第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「Ｎ」ビット階調での最大値に対応づくように求めた比率を前記第２の重みとして算出する
ことを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５の何れか一項に記載の画像処理装置において、
前記作成手段は、生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の前記高コントラスト画像と変換先の前記出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する
ことを特徴とする画像処理装置。
【請求項７】
請求項１ないし請求項６の何れか一項に記載の画像処理装置において、
前記作成手段は、前記高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、前記変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する
ことを特徴とする画像処理装置。
【請求項８】
請求項１ないし請求項７の何れか一項に記載の画像処理装置において、
前記輝度分布の形状の情報は、累積ヒストグラムの形状の情報である
ことを特徴とする画像処理装置。
【請求項９】
請求項１ないし請求項８の何れか一項に記載の画像処理装置において、
前記階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である
ことを特徴とする画像処理装置。
【請求項１０】
同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、前記高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理方法であって、
前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手順と、
前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手順と、
算出された前記ゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第１の重みを算出すると共に、前記第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第２の重みを算出する重み算出手順と、
算出された前記第１の重みと前記第２の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより前記高コントラスト画像を生成する中間画像生成手順と、
生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手順と、
作成された前記階調変換曲線に基づき前記高コントラスト画像の階調変換を行い、該高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手順と
を備えることを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法において、
前記選定手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の入力画像を、前記複数枚の中から前記基準画像として選定する
ことを特徴とする画像処理方法。
【請求項１２】
請求項１０または請求項１１に記載の画像処理方法において、
前記ゲイン算出手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、前記基準画像を基準にした前記残りの入力画像との輝度比率を前記ゲインとして算出する
ことを特徴とする画像処理方法。
【請求項１３】
請求項１０ないし請求項１２の何れか一項に記載の画像処理方法において、
前記重み算出手順は、
算出された前記ゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように前記第１の重みを算出し、
算出された前記ゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように前記第１の重みを算出する
ことを特徴とする画像処理方法。
【請求項１４】
請求項１０ないし請求項１３の何れか一項に記載の画像処理方法において、
前記重み算出手順は、前記第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「Ｎ」ビット階調での最大値に対応づくように求めた比率を前記第２の重みとして算出する
ことを特徴とする画像処理方法。
【請求項１５】
請求項１０ないし請求項１４の何れか一項に記載の画像処理方法において、
前記作成手順は、生成された前記高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の前記高コントラスト画像と変換先の前記出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する
ことを特徴とする画像処理方法。
【請求項１６】
請求項１０ないし請求項１５の何れか一項に記載の画像処理方法において、
前記作成手順は、前記高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、前記変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する
ことを特徴とする画像処理方法。
【請求項１７】
請求項１０ないし請求項１６の何れか一項に記載の画像処理方法において、
前記輝度分布の形状の情報は、累積ヒストグラムの形状の情報である
ことを特徴とする画像処理方法。
【請求項１８】
請求項１０ないし請求項１７の何れか一項に記載の画像処理方法において、
前記階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、コントラストの良好な画像を得るための手法として、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成してダイナミックレンジを拡大させた合成画像を作成する。そして、その階調幅の広い合成画像（高コントラスト画像）を基に階調変換を行い、それよりも階調幅の狭い最終結果の出力画像を生成するという手法が提案されている（例えば、特許文献１）。
【０００３】
この手法によれば、階調幅の広い高コントラスト画像の情報（特に階調情報）が保持された出力画像が生成されるので、コントラストの良好な画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９５６３１１号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の従来手法では、最終結果の出力画像を生成するための階調変換を、高コントラスト画像（合成画像）の輝度分布の特徴、具体的には、最低輝度、中間輝度、最高輝度の３点の特徴点を基に算出した変換特性に従って行うようにしている。しかしながら、その階調変換においては、依然として、階調飛びが生じたり、特に画像の低輝度部や高輝度部の階調表現が不自然になってしまうという問題があった。そのため、最終結果の出力画像として、コントラストの良好な画像を得ることができなかった。
【０００６】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、最終結果の出力画像として、コントラストの良好な画像を得ることができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００７】
第１の発明の画像処理装置は、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理装置であって、前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手段と、前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの基準画像を除いた残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手段と、算出されたゲインと、基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第１の重みを算出すると共に、第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第２の重みを算出する重み算出手段と、算出された第１の重みと第２の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより高コントラスト画像を生成する中間画像生成手段と、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手段と、作成された階調変換曲線に基づき高コントラスト画像の階調変換を行い、高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手段とを備える。
【０００８】
第２の発明は、第１の発明において、選定手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の入力画像を、前記複数枚の中から前記基準画像として選定する。
【０００９】
第３の発明は、第１または第２の発明において、ゲイン算出手段は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出する。
【００１０】
第４の発明は、第１ないし第３の発明の何れか一の発明において、重み算出手段は、算出されたゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように第１の重みを算出し、算出されたゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように第１の重みを算出する。
【００１１】
第５の発明は、第１ないし第４の発明の何れか一の発明において、重み算出手段は、第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「Ｎ」ビット階調での最大値に対応づくように求めた比率を第２の重みとして算出する。
【００１２】
第６の発明は、第１ないし第５の発明の何れか一の発明において、作成手段は、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の高コントラスト画像と変換先の出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する。
【００１３】
第７の発明は、第１ないし第６の発明の何れか一の発明において、作成手段は、高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する。
【００１４】
第８の発明は、第１ないし第７の発明の何れか一の発明において、輝度分布の形状の情報は、累積ヒストグラムの形状の情報である。
【００１５】
第９の発明は、第１ないし第８の発明の何れか一の発明において、階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である。
【００１６】
第１０の発明の画像処理方法は、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成して得られるダイナミックレンジを拡大させた階調幅の広い合成画像である高コントラスト画像に基づき、高コントラスト画像よりも階調幅の狭い出力画像を生成する画像処理方法であって、前記複数枚の入力画像の輝度成分の情報に基づき前記複数枚の入力画像の中から基準画像を選定する選定手順と、前記複数枚の入力画像の輝度成分の情報に基づき、前記複数枚のうちの基準画像を除いた残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出するゲイン算出手順と、算出されたゲインと、基準画像の輝度成分の情報とに基づき、前記残りの入力画像に対して適用する第１の重みを算出すると共に、第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの輝度成分の情報に基づき第２の重みを算出する重み算出手順と、算出された第１の重みと第２の重みとを用いて前記複数枚の入力画像の重み付け合成を行うことにより高コントラスト画像を生成する中間画像生成手順と、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とに基づき、階調変換の特性を示す階調変換曲線を作成する作成手順と、作成された階調変換曲線に基づき高コントラスト画像の階調変換を行い、高コントラスト画像よりも階調幅の狭い出力画像を生成する出力画像生成手順とを備える。
【００１７】
第１１の発明は、第１０の発明において、選定手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の入力画像を、前記複数枚の中から基準画像として選定する。
【００１８】
第１２の発明は、第１０または第１１の発明において、ゲイン算出手順は、前記複数枚の入力画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの入力画像について、基準画像を基準にした前記残りの入力画像との輝度比率をゲインとして算出する。
【００１９】
第１３の発明は、第１０ないし第１２の発明の何れか一の発明において、重み算出手順は、算出されたゲインの値が所定の値よりも小さい前記残りの入力画像に対しては、該入力画像の高輝度部分の重みが大きくなるように第１の重みを算出し、算出されたゲインの値が所定の値よりも大きい前記残りの入力画像に対しては、該入力画像の低輝度部分の重みが大きくなるように第１の重みを算出する。
【００２０】
第１４の発明は、第１０ないし第１３の発明の何れか一の発明において、重み算出手順は、第１の重みを用いて前記複数枚の入力画像を重み付け合成演算した結果の画像データの最大輝度が、ダイナミックレンジを拡大させた所定の「Ｎ」ビット階調での最大値に対応づくように求めた比率を第２の重みとして算出する。
【００２１】
第１５の発明は、第１０ないし第１４の発明の何れか一の発明において、作成手順は、生成された高コントラスト画像の輝度分布の形状の情報と、予め定められた変換目標の輝度分布の形状の情報とから、変換元の高コントラスト画像と変換先の出力画像との輝度値の対応関係を示す情報を抽出し、その抽出した情報を基に階調変換の特性を示す階調変換曲線を作成する。
【００２２】
第１６の発明は、第１０ないし第１５の発明の何れか一の発明において、作成手順は、高コントラスト画像の階調範囲のうちの予め決定された又はユーザーにより指定された階調範囲に属する画素のみを対象として作成した輝度分布の形状の情報と、変換目標の輝度分布の形状の情報とに基づいて、階調変換の特性を示す階調変換曲線を作成する。
【００２３】
第１７の発明は、第１０ないし第１６の発明の何れか一の発明において、輝度分布の形状の情報は、累積ヒストグラムの形状の情報である。
【００２４】
第１８の発明は、第１０ないし第１７の発明の何れか一の発明において、階調幅の広い合成画像である高コントラスト画像は、前記複数枚の入力画像と比べて階調数の多い画像である。
【発明の効果】
【００２５】
本発明を利用すれば、最終結果の出力画像として、コントラストの良好な画像を得ることができる。
【図面の簡単な説明】
【００２６】
【図１】実施形態の画像処理装置の構成を示すブロック図。
【図２】実施形態の画像処理装置の動作を示すフローチャート（１／２）。
【図３】実施形態の画像処理装置の動作を示すフローチャート（２／２）。
【図４】変換目標の輝度ヒストグラムと、そのリニア特性状態の輝度ヒストグラムの例を示す図。
【図５】合成画像の累積ヒストグラムと変換目標の累積ヒストグラムの例を示す図。
【図６】諧調変換曲線の例を示す図。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態を説明する。図１は、本実施形態の画像処理装置の構成を示すブロック図である。図１のとおり、本実施形態の画像処理装置は、画像処理装置１０と、それに接続される撮像ユニット２０とから構成される。
【００２８】
画像処理装置１０は、制御部１１と、撮像ユニット収容部１２と、バッファメモリ１３と、データ処理部１４と、圧縮／復号部１５と、記録媒体１６と、モニタ１７と、操作部１８と、システムバス１９とを有している。ここで、制御部１１、撮像ユニット収容部１２、バッファメモリ１３、データ処理部１４、圧縮／復号部１５、記録媒体１６、モニタ１７は、システムバス１９を介して接続されている。また、操作部１８は、制御部１１に接続されている。
【００２９】
撮像ユニット２０は、撮像ユニット収容部１２の収容ポート（不図示）を介して画像処理装置１０に接続される。なお、この接続は、ＩＥＥＥ１３９４やＵＳＢなどの規格に基づく通信ケーブルを用いて行われる。
【００３０】
撮像ユニット２０は、２次元マトリクス状に配置された多数の受光素子（画素）を半導体基板上に形成した撮像面を有する撮像素子と、撮像素子から出力された画像信号に、クランプ処理、感度調整（ゲイン調整）、Ａ／Ｄ変換などの信号処理を施し、その信号処理後の画像データを画像処理装置１０へ出力する信号処理回路などから構成される。なお、撮像ユニット２０の撮像素子は、例えば、ＣＣＤ型、或いは、ＣＭＯＳ型の撮像素子によって構成される。
【００３１】
また、撮像ユニット２０は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成される撮影レンズおよび、その撮影レンズを光軸方向に移動させてフォーカス調整やズーム調整を行うレンズ駆動部を有している。なお、撮影レンズのフォーカス調整やズーム調整は、画像処理装置１０の制御部１１からの指示に応じて行われる。
【００３２】
撮像ユニット２０は、画像処理装置１０の制御部１１からの指示に基づき、撮像面に結像された被写体像の画像を撮影する。撮影時のＡＥ（自動露出）やＡＦ（自動焦点調節）の制御は、撮像ユニット２０が、画像処理装置１０の制御部１１からの指示に基づいて行う。或いは、撮像ユニット２０と画像処理装置１０の制御部１１とが協働して行う。撮影により撮像ユニット２０から出力される画像データは、撮像ユニット収容部１２を介して、画像処理装置１０のバッファメモリ１３へ出力される。
【００３３】
バッファメモリ１３には、撮像ユニット２０から出力された画像データが一時的に記録される。また、制御部１１による処理の過程で作成された画像データなどもこのバッファメモリ１３に一時的に記録される。
【００３４】
データ処理部１４は、制御部１１の指示に応じて、バッファメモリ１３に記録された画像データに対し、欠陥画素補正、シェーディング補正、ホワイトバランス調整、補間、輪郭強調、ガンマ変換などの画像処理を施す。なお、データ処理部１４は、ＡＳＩＣなどとして構成される。
【００３５】
圧縮／復号部１５は、制御部１１の指示に応じて、バッファメモリ１３の画像データに圧縮処理を施す。なお、圧縮処理は、ＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。
【００３６】
記録媒体１６は、メモリカード、ハードディスク、光ディスク（ＤＶＤ等）などで構成される。なお、記録媒体１６は、画像処理装置１０に内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体１６と画像処理装置１０とは有線または無線で電気的に接続される。
【００３７】
モニタ１７は、ＬＣＤディスプレイやＣＲＴディスプレイなどから構成される表示装置である。なお、モニタ１７は、画像処理装置１０に内蔵されるものであっても、外部に設けられるものであってもよい。外部に設けられる場合、モニタ１７と画像処理装置１０とは有線で電気的に接続される。
【００３８】
モニタ１７は、制御部１１の指示に応じて、画像処理前の画像の内容を表示したり、画像処理後の画像の内容を画像処理結果として表示したり、さらに、画像に施す画像処理の内容をユーザーに指示させる画像処理メニュー画面（ＧＵＩ）などを表示する。
【００３９】
操作部１８は、キーボード、また、マウスやトラックパッド等のポインティングデバイスなど、制御部１１に対してユーザーが指示を行うための各種の入力デバイスを含んでいる。ユーザーは、これらの入力デバイスを操作することで、制御部１１に対して、画像に施す画像処理の内容の指示や、その画像処理の実行の指示等を行うことができる。
【００４０】
ところで、本実施形態の画像処理装置では、同一シーンを撮影した露光量の異なる複数枚の入力画像を合成してダイナミックレンジを拡大させた合成画像を作成し、その合成画像（高コントラスト画像）を基に階調変換を行い、最終的に、それよりも階調幅の狭い出力画像を生成する。これにより、階調幅の広い高コントラスト画像の情報（特に階調情報）が保持されたコントラストの良好な出力画像を生成する。
【００４１】
なお、本画像処理装置の扱う各画像の階調について一例を挙げると、例えば、入力画像が２５６（８ビット）や１０２４（１０ビット）階調、高コントラスト画像が１０２４（１０ビット）や６５５３６（１６ビット）階調、そして出力画像が、１０２４（１０ビット）や一般に扱い易い２５６（８ビット）階調などである。
【００４２】
以下、この処理について、本実施形態の画像処理装置が行う動作を、図２及び図３のフローチャートを参照して説明する。
【００４３】
図２及び図３のフローチャートの処理は、同一シーンを撮影した露光量の異なる複数枚の画像が、撮像ユニット２０から出力されてバッファメモリ１３に取得（記録）されたときに呼び出されるものである。その呼び出しの際には、それらバッファメモリ１３の複数枚の画像が入力画像（１〜Ｎ）に指定される。
【００４４】
なお、このような複数枚の画像は、例えば露出ブラケット撮影などの実施によって取得することができる。その場合、それら複数枚のうちの１枚の画像はＡＥ（自動露出）によって決定された或いはユーザーによって指定された露出条件で撮影されるように、また、それ以外の残りの画像はその露出条件を基準とした異なる露出条件（基準の露出条件±ｎ段）で撮影されるように、露出ブラケット撮影を実施するとよい。
【００４５】
また、以下の処理では、ガンマ補正（ガンマ変換）等が施されていない画像、つまり、画像信号成分が撮像素子から出力された状態のリニア特性の状態の画像を入力にして処理を行うものとしている。そのため、ガンマ補正（ガンマ変換）等の画像処理が施された画像を入力画像（１〜Ｎ）に用いる場合には、画像信号成分をリニア特性の状態に戻すため、一旦、元の画像に逆ガンマ補正（逆ガンマ変換）を施してから、それを入力画像（１〜Ｎ）に用いるようにする。
【００４６】
ステップ１０１（Ｓ１０１）：制御部１１は、入力画像（１〜Ｎ）のそれぞれについて縮小画像を作成する。例えば、各入力画像の空間方向で、２×２画素或いは４×４画素の画素値の平均をとることなどによって縮小画像を作成する。なお、作成した縮小画像（１〜ｎ）は、バッファメモリ１３の入力画像（１〜Ｎ）とは別の領域に記録する。
【００４７】
ステップ１０２：制御部１１は、作成した縮小画像（１〜ｎ）のそれぞれについて輝度成分のヒストグラム（輝度ヒストグラム）を作成する。
【００４８】
ステップ１０３：制御部１１は、作成した輝度ヒストグラムをそれぞれ解析し、その解析結果に基づき、入力画像（１〜Ｎ）の中から基準画像となる１枚を選定する。
【００４９】
具体的には、先ず、輝度ヒストグラムの作成の基となった縮小画像の全画素数の例えば０．１％となる画素数（ｉ）を求める。なお、その縮小画像の全画素数に対する割合（０．１％など）は、撮像素子の欠陥画素、また、突出的な画素値やノイズ等、画像を構成する画素以外の領域の画素を、演算の対象に入れないようにするために指定する。
【００５０】
次に、作成した輝度ヒストグラムを使用して、例えば、ここでは図４の輝度ヒストグラムの例を用いるとすると、その横軸（輝度）の高輝度側（輝度値「２５５」）から低輝度側（輝度値「０」）に向けて、輝度ヒストグラムの縦軸（画素数）の値が先に求めた画素数（ｉ）と一致するところまで検索し、一致したところの横軸の値（輝度値）を「ｍａｘ（輝度最大値）」として抽出する。また、続けて、同輝度ヒストグラムの横軸（輝度）の低輝度側（輝度値「０」）から高輝度側（輝度値「２５５」）に向けて、輝度ヒストグラムの縦軸（画素数）の値が先に求めた画素数（ｉ）と一致するところまで検索し、一致したところの横軸の値（輝度値）を「ｍｉｎ（輝度最小値）」として抽出する。
【００５１】
そして、その「ｍａｘ（輝度最大値）」と「ｍｉｎ（輝度最小値）」との差が最も大きい輝度ヒストグラムの作成の基となった縮小画像に対応する入力画像（１枚）を基準画像として選定する。
【００５２】
このようにして、入力画像（１〜Ｎ）の中から、輝度分布の有効幅の最も広い画像１枚が、基準画像として選定される。
【００５３】
ステップ１０４：制御部１１は、縮小画像の輝度成分の情報を基に、基準画像を基準として他の入力画像（基準画像を除いた残りの１枚以上の入力画像）のそれぞれにつきゲインを算出する。具体的には、下記の（式１）によってゲイン（ｇａｉｎ）を算出する。ここで、（式１）のｆY（ｘ，ｙ）は基準画像の縮小画像の輝度成分を、ｈY（ｘ，ｙ）は比較対象とする他の入力画像の縮小画像の輝度成分を、また（ｘ，ｙ）は縮小画像における各画素の座標位置を示している。但し、予め指定された露出条件で撮影するようなブラケット撮影を行う場合にはゲイン算出は不要となる。
【００５４】
【数１】
2011166728.tif 000003
【００５５】
なお、（式１）によって算出されるゲイン（ｇａｉｎ）の値が１．０よりも小さい場合（ｇａｉｎ＜１．０）には、その算出対象の「他の入力画像」は、基準画像に対して露出アンダーとなる露出条件で撮影されたものである。また、算出されるゲイン（ｇａｉｎ）の値が１．０よりも大きい場合（ｇａｉｎ＞１．０）には、その算出対象の「他の入力画像」は、基準画像に対して露出オーバーとなる露出条件で撮影されたものである。
【００５６】
ステップ１０５：制御部１１は、算出した各ゲイン（ｇａｉｎ）と基準画像の輝度成分の情報とを基に、他の入力画像のぞれぞれに対して第１の重みを算出する。具体的には、下記の（式２）によって、ゲイン（ｇａｉｎ）の値に応じた重み（Ｗ）を算出し、これを第１の重みとする。ここで、（式２）のｆY（ｘ，ｙ）は基準画像の輝度成分を示している。また、「ｍｉｎ」及び「ｍａｘ」は、上記ステップ１０３で基準画像を選定した際に、当該基準画像に対応する輝度ヒストグラムから求めた「ｍｉｎ（輝度最小値）」及び「ｍａｘ（輝度最大値）」である。この（式２）により、他の入力画像のぞれぞれに対し、基準画像の輝度を基準として、第１の重みを算出する。
【００５７】
【数２】
2011166728.tif 000004
【００５８】
なお、（式２）によれば、基準画像に対して露出アンダーとなる露出条件で撮影された「他の入力画像」については、「ｇａｉｎ＜１．０のとき」の演算により、画像の高輝度部分の重みが大きくなるように第１の重みの算出が行われる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷは０に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷは（−２ｌｏｇ２（ｇａｉｎ））に設定されるものとする。）。これは、高輝度部分については、基準画像よりも露光量が少なくなるように撮影された「他の入力画像」の情報が良好なためである。
また、基準画像に対して露出オーバーとなる露出条件で撮影された「他の入力画像」については、「ｇａｉｎ＞１．０のとき」の演算により、画像の低輝度部分の重みが大きくなるように第１の重みの算出が行われる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷは（２ｌｏｇ２（ｇａｉｎ））に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷは０に設定されるものとする。）。これは、低輝度部分については、基準画像よりも露光量が多くなるように撮影された「他の入力画像」の情報が良好なためである。
【００５９】
ステップ１０６：制御部１１は、算出した第１の重みを用いて、下記の（式３）により、Ｒ（r），Ｇ（g），Ｂ（b）の各色成分毎に入力画像（基準画像および他の入力画像）
の重み付け合成演算を行う。
【００６０】
【数３】
2011166728.tif 000005
【００６１】
なお、（式３）のｆc（ｘ，ｙ）は「基準画像」、ｈ1c（ｘ，ｙ）〜ｈn-1c（ｘ，ｙ）は他の入力画像（１〜Ｎ−１、つまり、基準画像を除いた残りの１枚以上の入力画像）を示している。また、Ｗ1〜Ｗn-1は他の入力画像（１〜Ｎ−１）のそれぞれに対して上記ステップ１０５で算出された第１の重み、「１．０」は基準画像に対する重み、「ｎ」は入力画像の枚数（Ｎ）、「ｃ」はＲ（r），Ｇ（g），Ｂ（b）の各色成分を示している。そして、ｇc（ｘ，ｙ）は、重み付け合成演算によりＲ（r），Ｇ（g），Ｂ（b）の各色成分毎に得られる演算結果、つまり合成後の画像データである。
【００６２】
制御部１１は、重み付け合成演算を行うと、その演算結果を基に第２の重みを算出する。
【００６３】
具体的には、下記の（式４）によって、先ず、演算結果のｇr（ｘ，ｙ）、ｇg（ｘ，ｙ）、ｇb（ｘ，ｙ）の画像データを基に輝度データｇY（ｘ，ｙ）を算出する。次に、算出した輝度データｇY（ｘ，ｙ）から、関数「Ｍａｘ（）」を用いて、輝度の最大値を抽出する。そして、抽出した輝度の最大値が、所定の「Ｎ」ビット階調での最大値、例えば「Ｎ＝１６」ビットの場合にはその最大値である「６５５３５」に対応づくような比率を第２の重み「ＮｂｉｔＷ」として算出する。
【００６４】
【数４】
2011166728.tif 000006
【００６５】
ステップ１０７：制御部１１は、算出した第１の重みと第２の重みとの２種類の重みを用いて、下記の（式５）により、Ｒ（r），Ｇ（g），Ｂ（b）の各色成分毎に入力画像（基準画像および他の入力画像）の重み付け合成を行い、上記所定の「Ｎ」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像（高コントラスト画像）を作成する。
【００６６】
【数５】
2011166728.tif 000007
【００６７】
なお、（式５）のｇc（ｘ，ｙ）は作成される高コントラスト画像であり、ｆc（ｘ，ｙ）は「基準画像」、ｈ1c（ｘ，ｙ）〜ｈn-1c（ｘ，ｙ）は他の入力画像（１〜Ｎ−１、つまり、基準画像を除いた残りの１枚以上の入力画像）を示している。また、Ｗ1〜Ｗn-1は他の入力画像（１〜Ｎ−１）のそれぞれに対して上記ステップ１０５で算出された第１の重み、「１．０」は基準画像に対する重み、「ｎ」は入力画像の枚数（Ｎ）、「ｃ」はＲ（r），Ｇ（g），Ｂ（b）の各色成分、「ＮｂｉｔＷ」は上記ステップ１０６で算出され
た第２の重みを示している。
【００６８】
このように、本実施形態の画像処理装置では、輝度成分のみに基づいて重みを算出し（上記ステップ１０５、１０６）、それを入力画像のＲ（r），Ｇ（g），Ｂ（b）の色成分
の全てに適用するようにして重み付け合成処理を行っている（本ステップ１０７）。そのため、作成される高コントラスト画像には、入力画像個々の色バランスが、そのまま維持された状態で、確実に反映されることとなる。
【００６９】
また、上記とは異なり、入力画像のＲ（r），Ｇ（g），Ｂ（b）の色成分の個々について高コントラスト画像を生成すれば（具体的には上記の輝度成分で処理している箇所（ステップ１０６の第２の重みを算出する処理は除く）を、全て、色成分毎の処理に置き換える）、より有効に階調幅を表現できるようになる。
【００７０】
ステップ１０８：制御部１１は、図３に示す階調変換処理のサブルーチンを呼び出す。
【００７１】
（図３：階調変換処理）
ステップ１０８−１（Ｓ１０８−１）：制御部１１は、先ず、階調変換での変換目標とする輝度分布を定め、その変換目標とする輝度分布を示す輝度ヒストグラムと、合成画像（高コントラスト画像）の輝度分布を示す輝度ヒストグラムとを作成する。
【００７２】
ここで、変換目標の輝度ヒストグラムであるが、見た目に好ましい画像の輝度ヒストグラムは中輝度部分の画素の数が多くなると仮定し、変換目標として、例えば図４（ａ）に示すようなガウス分布状の輝度ヒストグラムとなるような輝度分布を定め、その輝度分布を基にして、画像信号成分をリニア特性の状態にした輝度ヒストグラムを作成する。例えば、図４（ａ）の画像信号成分をリニア特性の状態にした場合には、図４（ｂ）に示すような輝度分布の輝度ヒストグラムが作成される。そして、作成したそのリニア特性の状態の輝度ヒストグラムを変換目標として用いるようにするとよい。
【００７３】
なお、上記所定の「Ｎ」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像（高コントラスト画像）は、上記ステップ１０７の重み付け合成によって作成されたものであり、その「Ｎ」ビット階調の情報が全て有効であるとは限らず、また画像の注目領域の階調が表現されているとも限らない。
【００７４】
そのため、合成画像（高コントラスト画像）の階調の範囲のうち最終結果の出力画像として出力する範囲（階調レンジ）を例えばユーザーなどが指定できるようにするとよい。
そして、例えばユーザーによって指定された階調レンジの最小値「outputMin」と最大値「outputMax」との情報に基づき、合成画像（高コントラスト画像）の画素のうち当該「outputMin」と「outputMax」とで示される範囲に含まれない画素値を有する画素について
は、上記合成画像（高コントラスト画像）の輝度ヒストグラム作成の対象から外すようにする。
【００７５】
そうすれば、合成画像（高コントラスト画像）の有効と思われる階調部分、また画像の注目領域の階調部分を、ユーザーなどが任意に指定して、最終結果の出力画像として出力できるようになる。なお、階調レンジの最小値「outputMin」と最大値「outputMax」には、ユーザー指定の値ではなく、もちろん、予め設定された装置のプリセット値を使用するようにしてもよい。
【００７６】
このようにして輝度ヒストグラムを作成すると、制御部１１は、その合成画像の輝度ヒストグラムと変換目標の輝度ヒストグラムとのそれぞれについて累積ヒストグラムを作成する。
【００７７】
なお、変換目標の累積ヒストグラムについては、合成画像（高コントラスト画像）よりも階調幅の狭い最終結果の出力画像の階調幅に応じた内容のものを作成する。出力画像の階調幅に応じた内容の輝度ヒストグラムを作成して、それを基に累積ヒストグラムを作成するようにしてもよい。
【００７８】
ステップ１０８−２：制御部１１は、作成した累積ヒストグラムを基に階調変換テーブルを作成する。
【００７９】
具体的には、先ず、合成画像の累積ヒストグラムと変換目標の累積ヒストグラムとの縦軸（画素数を示す）をそれぞれ「ｎ」等分する。なお、その際は、縦軸でのデータが存在する範囲を「ｎ」等分するようにする。
【００８０】
ここで、縦軸を「ｎ＝１６」等分した場合の例を示す。
【００８１】
図５（ａ）は、１２００×１６００画素の解像度で、ダイナミックレンジを１６ビット階調に拡大させた合成画像（高コントラスト画像）について作成された累積ヒストグラムの例である。縦軸のデータの存在する範囲が境界線「ａ０〜ａ１６」によって１６等分されている。なお、この例の場合、縦軸の最大値は１９２００００（１２００×１６００画素）、横軸の最大値は６５５３５（１６ビット階調）となる。
【００８２】
また、図５（ｂ）は、最終結果として生成される出力画像の階調幅（この場合１０ビット階調）に応じて作成された変換目標の累積ヒストグラムの例である。縦軸のデータの存在する範囲が境界線「ｂ０〜ｂ１６」によって１６等分されている。なお、この例の場合、横軸の最大値は１０２３（１０ビット階調）となり、また縦軸の最大値は、図５（ａ）の合成画像（高コントラスト画像）の累積ヒストグラムに合わせて正規化されるので、１９２００００（１２００×１６００画素）となる。
【００８３】
累積ヒストグラムの縦軸を「ｎ」等分すると、次に、その等分領域の各境界線と、累積データのカーブとの交点によって示される輝度値を、合成画像と変換目標との累積ヒストグラム間で対応づけるようにする。図５の例では、合成画像の累積ヒストグラムである図５（ａ）の「ａ０Ｙ〜ａ１６Ｙ」と、変換目標の累積ヒストグラムである図５（ｂ）の「ｂ０Ｙ〜ｂ１６Ｙ」とをそれぞれ対応づけるようにする。
【００８４】
そして、合成画像の累積ヒストグラムと変換目標の累積ヒストグラムとの間におけるそれら輝度値の対応関係を示す情報を階調変換テーブルとして作成する。
【００８５】
このようにして、制御部１１は、合成画像と変換目標との累積ヒストグラムを基に、階調変換テーブルを作成する。
【００８６】
ステップ１０８−３：制御部１１は、作成した階調変換テーブルに基づき階調変換曲線を作成する。例えば、図６に示すような階調変換曲線を作成する。具体的には、階調変換テーブルを参照して、合成画像（高コントラスト画像）の累積ヒストグラムでの輝度値、例えば図５（ａ）での「ａ０Ｙ」〜「ａ１６Ｙ」を図６の横軸上に、また変換目標の累積ヒストグラムでの輝度値、例えば図５（ｂ）での「ｂ０Ｙ」〜「ｂ１６Ｙ」を図６の縦軸上にとる。そして、それら「ａ０Ｙ」〜「ａ１６Ｙ」と「ｂ０Ｙ」〜「ｂ１６Ｙ」との各交点を基準点とし、各基準点間で極端な変化を生じないようそれらの各基準点間に、線形補間、平滑化等の処理を施して、図６に示すような階調変換曲線を作成する。
【００８７】
この階調変換曲線の作成処理において、基準点間の傾きが、合成画像（高コントラスト画像）の階調幅と出力画像の階調幅との比率を超えてしまうような曲線が作成されなければ、つまり図６の例では、１６ビット階調と１０ビット階調との比率の６４倍を超えてしまう曲線が作成されなければ、その階調変換曲線を用いた以下の階調変換の処理では、階調飛びが発生することはない。
【００８８】
なお、上記の説明から自ずと理解されることであるが、図６の階調変換曲線の例は、ダイナミックレンジを拡大させた１６ビット階調の合成画像（高コントラスト画像）を階調変換して、それよりも階調幅の狭い１０ビット階調の出力画像を生成するためのものである。
【００８９】
ステップ１０８−４：制御部１１は、作成した階調変換曲線に基づいて合成画像の階調変換を行い、その処理後の画像をバッファメモリ１３に記録する。これにより、合成画像（高コントラスト画像）よりも階調幅の狭い出力画像がバッファメモリ１３に取得される。このようにして取得される出力画像は、階調幅の広い高コントラスト画像の情報（特に階調情報）が保持されたコントラストの良好な画像となる。
【００９０】
制御部２０は、上記の階調変換処理を終えると、図２のフローチャートの処理へ復帰してステップ１０９（Ｓ１０９）へ移行する。
【００９１】
ステップ１０９（図２）：制御部１１は、データ処理部１４を駆動して、バッファメモリ１３に取得された階調変換後の画像に対しガンマ変換などの必要な画像処理を施す。
【００９２】
ステップ１１０：制御部１１は、圧縮／復号部１５を駆動してバッファメモリ１３の画像処理後の画像に対し圧縮処理を施すと共に、その圧縮処理後の画像を記録媒体１６へ記録する。そして、制御部１１は、本フローチャートの処理を終了する。
【００９３】
なお、上記のステップ１０９では、画像処理後の画像の内容をモニタ１７に表示するようにしてもよい。
【００９４】
（実施形態の作用効果）
本実施形態の画像処理装置では、入力画像（１〜Ｎ）のそれぞれについて縮小画像が作成され、その各縮小画像の輝度ヒストグラムを解析した結果に基づき、輝度分布の有効幅の最も広い１枚の画像が、入力画像の中から、基準画像として選定される。なお、縮小画像は、例えば、各入力画像の空間方向でｎ×ｎ（ｎ≧２）画素の画素値の平均をとることによって作成される。
【００９５】
次に、縮小画像の輝度成分の情報を基に、基準画像を基準にした他の入力画像（基準画像を除いた残りの１枚以上の入力画像）との輝度比率が、ゲインとして、他の入力画像のそれぞれについて算出され、その算出された各ゲインと、基準画像の輝度成分の情報とを基に、他の入力画像のそれぞれに対して適用する第１の重みが算出される。
【００９６】
また、算出された第１の重みを用いて、入力画像（基準画像および他の入力画像）の重み付け合成演算が行われ、その演算結果の画像データを基に第２の重みが算出される。
【００９７】
そして、第１の重みと第２の重みとを用いて、入力画像の重み付け合成が行われて、所定の「Ｎ」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像（高コントラスト画像）が作成される。
【００９８】
このように、本実施形態の画像処理装置では、入力画像（１〜Ｎ）を縮小した「縮小画像」の情報を基にして、基準画像の選定、ゲインの算出、そして第１の重みの算出が行われる。
【００９９】
そのため、合成対象となる入力画像中にノイズの生じた画素が含まれる場合にも、重み付け合成によって作成される高コントラスト画像においては、そのノイズ成分が軽減される。また、入力画像中に突出的な画素値を有する画素が含まれる場合にも、重み付け合成によって作成される高コントラスト画像においては、階調飛びが生じにくい。
【０１００】
また、第２の重みの算出は、入力画像の重み付け合成演算結果の画像データの最大輝度がダイナミックレンジを拡大させた所定の「Ｎ」ビット階調での最大値に対応づくような比率を求めることによって行われる。
【０１０１】
そのため、入力画像を重み付け合成して作成される合成画像（高コントラスト画像）は、その階調幅が、入力画像よりも広い所定の「Ｎ」ビット階調で示される階調幅に拡大されるが、高コントラスト画像においては、階調表現が自然なものとなり、また階調飛びも生じにくい。
【０１０２】
また、本実施形態の画像処理装置では、算出されたゲイン（基準画像を基準とした輝度比率）の値が小さい（ｇａｉｎ＜１．０）他の入力画像、即ち、基準画像に対して露出アンダーとなる露出条件で撮影された他の入力画像に対しては、画像の高輝度部分の重みが大きくなるように第１の重みの算出が行われる。これは、基準画像よりも露光量が少なくなるように露出アンダーで撮影された他の入力画像は、その高輝度部分の情報が良好なためである。
【０１０３】
また、算出されたゲインの値が大きい（ｇａｉｎ＞１．０）他の入力画像、即ち、基準画像に対して露出オーバーとなる露出条件で撮影された他の入力画像に対しては、画像の低輝度部分の重みが大きくなるように第１の重みの算出が行われる。これは、基準画像よりも露光量が多くなるように露出オーバーで撮影された他の入力画像は、その低輝度部分の情報が良好なためである。
【０１０４】
そのため、合成対象となる入力画像中に輝度変化の滑らかな構造を持つ部分が含まれる場合にも、重み付け合成によって作成される高コントラスト画像においては、階調飛びが生じにくい。
【０１０５】
また、本実施形態の画像処理装置では、入力画像（１〜Ｎ）のうち、輝度分布の有効幅の最も広い１枚の画像が基準画像として選定され、その基準画像に基づきゲイン算出及び第１の重み算出が行われる。そして、その重みを使用して、基準画像と他の入力画像との重み付け合成が行われて、高コントラスト画像が作成される。
【０１０６】
このように、本実施形態の画像処理装置では、輝度分布の有効幅の最も広い基準画像をベースにして画像合成が行われるので、その合成によって高コントラスト画像に生じるノイズ、また階調飛びを、従来よりも減少させることができる。
【０１０７】
また、本実施形態の画像処理装置では、変換目標とする輝度分布を示す輝度ヒストグラムと、合成画像の輝度分布を示す輝度ヒストグラムとのそれぞれについて累積ヒストグラムが作成される。変換目標の累積ヒストグラムについては、所定の「Ｎ」ビット階調で示される階調幅にダイナミックレンジを拡大させた合成画像（高コントラスト画像）よりも階調幅の狭い最終結果の出力画像の階調幅に応じた内容のものが作成される。
【０１０８】
次に、作成された合成画像の累積ヒストグラムと、変換目標の累積ヒストグラムとを基に階調変換テーブルが作成される。詳しくは、作成された合成画像の累積ヒストグラムと、変換目標の累積ヒストグラムとの縦軸（画素数）をそれぞれ「ｎ」等分、例えば「ｎ＝１６」等分し、その等分による境界線と累積データのカーブとの交点の示す輝度値を両累積ヒストグラム間で対応付ける。そして、その対応関係を示す情報が階調変換テーブルとして作成される。
【０１０９】
また、作成された階調変換テーブルに基づき階調変換曲線が作成される。詳しくは、階調変換テーブルを参照して、合成画像の累積ヒストグラムでの輝度値を横軸上に、また変換目標の累積ヒストグラムでの輝度値を縦軸上にとり、それらの交点（基準点）を求め、その求めた各基準点間に、線形補間、平滑化等の処理を施す。そして、それらの処理によって得られた結果のカーブが階調変換曲線として作成される。
【０１１０】
その後、作成した階調変換曲線に基づいて合成画像の階調変換が行われる。この階調変換により、合成画像（高コントラスト画像）よりも階調幅の狭い最終結果の出力画像が生成される。このようにして取得される画像（出力画像）は、階調幅の広い高コントラスト画像の情報（特に階調情報）が保持されたコントラストの良好な画像となる。
【０１１１】
したがって、本実施形態の画像処理装置によれば、最終結果の出力画像として、コントラストの良好な画像を得ることができる。
【０１１２】
（その他）
本発明は、露出ブラケット撮影が可能な他の機器、例えば、デジタルカメラ（デジタルスチルカメラ）やデジタルビデオカメラ、携帯電話機などにも適用することができる。さらに、本発明は、撮像素子を用いて取得した画像により被写体の観察を行うことが可能な顕微鏡などにも適用することができる。
【符号の説明】
【０１１３】
１０…画像処理装置（本体），１１…制御部，１２…撮像ユニット収容部，１３…バッファメモリ，１４…データ処理部，１５…圧縮／復号部，１６…記録媒体，１７…モニタ，１８…操作部，１９…システムバス，２０…撮像ユニット
【図１】
2011166728.tif 000008
【図２】
2011166728.tif 000009
【図３】
2011166728.tif 000010
【図４】
2011166728.tif 000011
【図５】
2011166728.tif 000012
【図６】
2011166728.tif 000013