(57)【特許請求の範囲】
【請求項１】
同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い合成画像（高コントラスト画像）を生成する画像処理装置であって、
前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手段と、
前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手段と、
前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手段と、
前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手段とを備え、
前記重み算出手段は、
前記残りの画像のゲインの値が１である場合には、前記残りの画像の全画素の重みを均一に設定し、
前記残りの画像のゲインの値が１よりも小さい場合には、前記残りの画像の高輝度な画素ほど重みを大きく設定し、
前記残りの画像のゲインの値が１よりも大きい場合には、前記残りの画像の低輝度な画素ほど重みを大きく設定する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記重み算出手段は、
前記残りの画像の座標（ｘ，ｙ）における画素に対して適用する重みＷを、以下の式により算出する
【数１】
0005408053.tif 000007
但し、ｇａｉｎは前記残りの画像のゲインであり、ｆｙ（ｘ，ｙ）は前記基準画像の座標（ｘ，ｙ）における画素の輝度値であり、ｍａｘは前記基準画像の輝度最大値であり、ｍｉｎは前記基準画像の輝度最小値である
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記選定手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する
ことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
前記ゲイン算出手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する
ことを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４の何れか一項に記載の画像処理装置において、
前記複数枚の画像は、画像信号成分がリニア特性の状態にある画像であり、
前記複数枚のうちの１枚の画像は自動露出（ＡＥ）によって決定された又はユーザーによって指定された露出条件で撮影され、それを除いた残りの画像は、前記露出条件を基準とした異なる露出条件で撮影されたものである
ことを特徴とする画像処理装置。
【請求項６】
同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅が広い合成画像（高コントラスト画像）を生成する画像処理方法であって、
前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手順と、
前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手順と、
前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手順と、
前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手順とを備え、
前記重み算出手順は、
前記残りの画像のゲインの値が１である場合には、前記残りの画像の全画素の重みを均一に設定し、
前記残りの画像のゲインの値が１よりも小さい場合には、前記残りの画像の高輝度な画素ほど重みを大きく設定し、
前記残りの画像のゲインの値が１よりも大きい場合には、前記残りの画像の低輝度な画素ほど重みを大きく設定する
ことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法において、
前記重み算出手順は、
前記残りの画像の座標（ｘ，ｙ）における画素に対して適用する重みＷを、以下の式により算出する
【数２】
0005408053.tif 000008
但し、ｇａｉｎは前記残りの画像のゲインであり、ｆｙ（ｘ，ｙ）は前記基準画像の座標（ｘ，ｙ）における画素の輝度値であり、ｍａｘは前記基準画像の輝度最大値であり、ｍｉｎは前記基準画像の輝度最小値である
ことを特徴とする画像処理方法。
【請求項８】
請求項６または請求項７に記載の画像処理方法において、
前記選定手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する
ことを特徴とする画像処理方法。
【請求項９】
請求項６ないし請求項８の何れか一項に記載の画像処理方法において、
前記ゲイン算出手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い合成画像（高コントラスト画像）を得るための技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３０５６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、合成対象となる画像中に、輝度変化の滑らかな構造を持つ部分があったり、ノイズなどによる突出的な値（画素値）を有する画素が含まれている場合には、画質の良好な高コントラスト画像を得ることができなかった。具体的には、合成後の高コントラスト画像において、階調飛びが生じたり、ノイズ成分が残る或いはノイズ成分が強調されてしまっていた。
【０００５】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、良好な画質の高コントラスト画像を得ることができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００６】
第１の発明の画像処理装置は、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い合成画像（高コントラスト画像）を生成する画像処理装置であって、前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手段と、前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手段と、前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手段と、前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手段とを備え、  前記重み算出手段は、前記残りの画像のゲインの値が１である場合には、前記残りの画像の全画素の重みを均一に設定し、前記残りの画像のゲインの値が１よりも小さい場合には、前記残りの画像の高輝度な画素ほど重みを大きく設定し、前記残りの画像のゲインの値が１よりも大きい場合には、前記残りの画像の低輝度な画素ほど重みを大きく設定する。
第２の発明は、第１の発明において、前記重み算出手段は、前記残りの画像の座標（ｘ，ｙ）における画素に対して適用する重みＷを、以下の式により算出する。
【数３】
0005408053.tif 000002
但し、ｇａｉｎは前記残りの画像のゲインであり、ｆｙ（ｘ，ｙ）は前記基準画像の座標（ｘ，ｙ）における画素の輝度値であり、ｍａｘは前記基準画像の輝度最大値であり、ｍｉｎは前記基準画像の輝度最小値である。
【０００７】
第３の発明は、第１または第２の発明において、選定手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する。
【０００８】
第４の発明は、第１ないし第３の発明において、ゲイン算出手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する。
【００１０】
第５の発明は、第１ないし第４の発明の何れか一の発明において、前記複数枚の画像は、画像信号成分がリニア特性の状態にある画像であり、前記複数枚のうちの１枚の画像は自動露出（ＡＥ）によって決定された又はユーザーによって指定された露出条件で撮影され、それを除いた残りの画像は、前記露出条件を基準とした異なる露出条件で撮影されたものである。
【００１１】
第６の発明の画像処理方法は、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅が広い合成画像（高コントラスト画像）を生成する画像処理方法であって、前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手順と、前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手順と、前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手順と、前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手順とを備え、  前記重み算出手順は、前記残りの画像のゲインの値が１である場合には、前記残りの画像の全画素の重みを均一に設定し、前記残りの画像のゲインの値が１よりも小さい場合には、前記残りの画像の高輝度な画素ほど重みを大きく設定し、前記残りの画像のゲインの値が１よりも大きい場合には、前記残りの画像の低輝度な画素ほど重みを大きく設定する。
第７の発明は、第６の発明において、前記重み算出手順は、前記残りの画像の座標（ｘ，ｙ）における画素に対して適用する重みＷを、以下の式により算出する。
【数４】
0005408053.tif 000003
但し、ｇａｉｎは前記残りの画像のゲインであり、ｆｙ（ｘ，ｙ）は前記基準画像の座標（ｘ，ｙ）における画素の輝度値であり、ｍａｘは前記基準画像の輝度最大値であり、ｍｉｎは前記基準画像の輝度最小値である。
【００１２】
第８の発明は、第６または第７の発明において、選定手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する。
【００１３】
第９の発明は、第６ないし第８の発明において、ゲイン算出手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する。
【発明の効果】
【００１５】
本発明を利用すれば、良好な画質の高コントラスト画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態の画像処理装置の構成を示すブロック図。
【図２】高コントラスト画像作成に係る画像処理装置の動作を示すフローチャート。
【図３】縮小画像の輝度ヒストグラムの例を示す図。
【図４】コントラストの低い被写体を撮影した画像の輝度ヒストグラムの例を示す図。
【図５】高コントラスト画像を基に最終結果となる画像を作成する例を示す図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を説明する。
【００１８】
図１は、本実施形態の画像処理装置の構成を示すブロック図である。図１のとおり、本実施形態の画像処理装置は、画像処理装置１０と、それに接続される撮像ユニット２０とから構成される。
【００１９】
画像処理装置１０は、制御部１１と、撮像ユニット収容部１２と、バッファメモリ１３と、データ処理部１４と、圧縮／復号部１５と、記録媒体１６と、モニタ１７と、操作部１８と、システムバス１９とを有している。ここで、制御部１１、撮像ユニット収容部１２、バッファメモリ１３、データ処理部１４、圧縮／復号部１５、記録媒体１６、モニタ１７は、システムバス１９を介して接続されている。また、操作部１８は、制御部１１に接続されている。
【００２０】
撮像ユニット２０は、撮像ユニット収容部１２の収容ポート（不図示）を介して画像処理装置１０に接続される。なお、この接続は、ＩＥＥＥ１３９４やＵＳＢなどの規格に基づく通信ケーブルを用いて行われる。
【００２１】
撮像ユニット２０は、２次元マトリクス状に配置された多数の受光素子（画素）を半導体基板上に形成した撮像面を有する撮像素子と、撮像素子から出力された画像信号に、クランプ処理、感度調整（ゲイン調整）、Ａ／Ｄ変換などの信号処理を施し、その信号処理後の画像データを画像処理装置１０へ出力する信号処理回路などから構成される。なお、撮像ユニット２０の撮像素子は、例えば、ＣＣＤ型、或いは、ＣＭＯＳ型の撮像素子によって構成される。
【００２２】
また、撮像ユニット２０は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成される撮影レンズおよび、その撮影レンズを光軸方向に移動させてフォーカス調整やズーム調整を行うレンズ駆動部を有している。なお、撮影レンズのフォーカス調整やズーム調整は、画像処理装置１０の制御部１１からの指示に応じて行われる。
【００２３】
撮像ユニット２０は、画像処理装置１０の制御部１１からの指示に基づき、撮像面に結像された被写体像の画像を撮影する。撮影時のＡＥ（自動露出）やＡＦ（自動焦点調節）の制御は、撮像ユニット２０が、画像処理装置１０の制御部１１からの指示に基づいて行う。或いは、撮像ユニット２０と画像処理装置１０の制御部１１とが協働して行う。撮影により撮像ユニット２０から出力される画像データは、撮像ユニット収容部１２を介して、画像処理装置１０のバッファメモリ１３へ出力される。
【００２４】
バッファメモリ１３には、撮像ユニット２０から出力された画像データが一時的に記録される。また、制御部１１による処理の過程で作成された画像データなどもこのバッファメモリ１３に一時的に記録される。
【００２５】
データ処理部１４は、制御部１１の指示に応じて、バッファメモリ１３に記録された画像データに対し、欠陥画素補正、シェーディング補正、ホワイトバランス調整、補間、輪郭強調、ガンマ補正などの画像処理を施す。なお、データ処理部１４は、ＡＳＩＣなどとして構成される。
【００２６】
圧縮／復号部１５は、制御部１１の指示に応じて、バッファメモリ１３の画像データに圧縮処理を施す。なお、圧縮処理は、ＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。
【００２７】
記録媒体１６は、メモリカード、ハードディスク、光ディスク（ＤＶＤ等）などで構成される。なお、記録媒体１６は、画像処理装置１０に内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体１６と画像処理装置１０とは有線または無線で電気的に接続される。
【００２８】
モニタ１７は、ＬＣＤディスプレイやＣＲＴディスプレイなどから構成される表示装置である。なお、モニタ１７は、画像処理装置１０に内蔵されるものであっても、外部に設けられるものであってもよい。外部に設けられる場合、モニタ１７と画像処理装置１０とは有線で電気的に接続される。
【００２９】
モニタ１７は、制御部１１の指示に応じて、画像処理前の画像の内容を表示したり、画像処理後の画像の内容を画像処理結果として表示したり、さらに、画像に施す画像処理の内容をユーザーに指示させる画像処理メニュー画面（ＧＵＩ）などを表示する。
【００３０】
操作部１８は、キーボード、また、マウスやトラックパッド等のポインティングデバイスなど、制御部１１に対してユーザーが指示を行うための各種の入力デバイスを含んでいる。ユーザーは、これらの入力デバイスを操作することで、制御部１１に対して、画像に施す画像処理の内容の指示や、その画像処理の実行の指示等を行うことができる。
【００３１】
ところで、本実施形態の画像処理装置は、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、高コントラスト画像を作成する機能（高コントラスト画像作成機能）を有している。
【００３２】
以下、この機能について、本実施形態の画像処理装置が行う動作を、図２のフローチャートを参照して説明する。図２のフローチャートの処理は、撮像ユニット２０から出力された同一シーンを撮影した露光量の異なる複数枚の画像がバッファメモリ１３に記録されているときに、そのバッファメモリ１３の複数枚の画像を入力画像（１〜Ｎ）に指定して、高コントラスト画像作成機能の実行を指示した場合に呼び出されるものである。
【００３３】
なお、入力画像の指定および当該機能の実行指示は、例えば、ユーザーが、操作部１８の入力デバイスを操作して、モニタ１７に表示された画像処理メニュー画面（ＧＵＩ）から、「高コントラスト画像を作成する」という項目を選んで確定することなどによって行うことができる。
【００３４】
また、上記のような同一シーンを撮影した露光量の異なる複数枚の画像は、例えば、露出ブラケット撮影を実施することで取得することができる。その場合、それら複数枚のうちの１枚の画像はＡＥ（自動露出）によって決定された或いはユーザーによって指定された露出条件で撮影されるように、また、それ以外の残りの画像はその露出条件を基準とした異なる露出条件（基準の露出条件±ｎ段）で撮影されるように露出ブラケット撮影を行うとよい。
【００３５】
ステップ１０１（Ｓ１０１）：制御部１１は、指定された入力画像（１〜Ｎ）のそれぞれについて縮小画像を作成する。例えば、各入力画像の空間方向で、２×２画素或いは４×４画素の画素値の平均をとることなどによって縮小画像を作成する。なお、作成した縮小画像（１〜ｎ）は、バッファメモリ１３の入力画像（１〜Ｎ）とは別の領域に記録する。
【００３６】
ステップ１０２：制御部１１は、作成した縮小画像（１〜ｎ）のそれぞれについて輝度成分のヒストグラム（輝度ヒストグラム）を作成する。
【００３７】
ステップ１０３：制御部１１は、作成した輝度ヒストグラムをそれぞれ解析し、その解析結果に基づき、入力画像（１〜Ｎ）の中から基準画像となる１枚を選定する。
【００３８】
具体的には、先ず、輝度ヒストグラムの作成の基となった縮小画像の全画素数の例えば０．１％となる画素数（ｉ）を求める。なお、その縮小画像の全画素数に対する割合（０．１％など）は、撮像素子の欠陥画素、また、突出的な画素値やノイズ等、画像を構成する画素以外の領域の画素を、演算の対象に入れないようにするために指定する。
【００３９】
次に、作成した輝度ヒストグラムを使用して、例えば、ここでは図３の輝度ヒストグラムの例を用いるとすると、その横軸（輝度）の高輝度側（輝度値「２５５」）から低輝度側（輝度値「０」）に向けて、輝度ヒストグラムの縦軸（画素数）の値が先に求めた画素数（ｉ）と一致するところまで検索し、一致したところの横軸の値（輝度値）を「ｍａｘ（輝度最大値）」として抽出する。また、続けて、同輝度ヒストグラムの横軸（輝度）の低輝度側（輝度値「０」）から高輝度側（輝度値「２５５」）に向けて、輝度ヒストグラムの縦軸（画素数）の値が先に求めた画素数（ｉ）と一致するところまで検索し、一致したところの横軸の値（輝度値）を「ｍｉｎ（輝度最小値）」として抽出する。
【００４０】
そして、その「ｍａｘ（輝度最大値）」と「ｍｉｎ（輝度最小値）」との差が最も大きい輝度ヒストグラムの作成の基となった縮小画像に対応する入力画像（１枚）を基準画像として選定する。
【００４１】
このようにして、入力画像（１〜Ｎ）の中から、輝度分布の有効幅の最も広い画像１枚が、基準画像として選定される。
【００４２】
ステップ１０４：制御部１１は、縮小画像の輝度成分の情報を基に、基準画像を基準として他の入力画像（基準画像を除いた残りの１枚以上の入力画像）のそれぞれにつきゲインを算出する。具体的には、下記の（式１）によってゲイン（ｇａｉｎ）を算出する。ここで、（式１）のｆY（ｘ，ｙ）は基準画像の縮小画像の輝度成分を、ｈY（ｘ，ｙ）は比較対象とする他の入力画像の縮小画像の輝度成分を、また（ｘ，ｙ）は縮小画像における各画素の座標位置を示している。但し、予め指定された露出条件で撮影するようなブラケット撮影を行う場合にはゲイン算出は不要となる。
【００４３】
【数１】
0005408053.tif 000004
なお、（式１）によって算出されるゲイン（ｇａｉｎ）の値が１．０よりも小さい場合（ｇａｉｎ＜１．０）には、その算出対象の「他の入力画像」は、基準画像に対して露出アンダーとなる露出条件で撮影されたものである。また、算出されるゲイン（ｇａｉｎ）の値が１．０よりも大きい場合（ｇａｉｎ＞１．０）には、その算出対象の「他の入力画像」は、基準画像に対して露出オーバーとなる露出条件で撮影されたものである。
【００４４】
ステップ１０５：制御部１１は、算出した各ゲイン（ｇａｉｎ）と基準画像の輝度成分の情報とを基に、他の入力画像のぞれぞれに対して重みを算出する。具体的には、下記の（式２）によって、ゲイン（ｇａｉｎ）の値に応じた重み（Ｗ）を算出する。ここで、（式２）のｆY（ｘ，ｙ）は基準画像の輝度成分を示している。また、「ｍｉｎ」及び「ｍａｘ」は、上記ステップ１０３で基準画像を選定した際に、当該基準画像に対応する輝度ヒストグラムから求めた「ｍｉｎ（輝度最小値）」及び「ｍａｘ（輝度最大値）」である。この（式２）により、他の入力画像のぞれぞれに対し、基準画像の輝度を基準として、重みを算出する。
【００４５】
【数２】
0005408053.tif 000005
なお、（式２）によれば、基準画像に対して露出アンダーとなる露出条件で撮影された「他の入力画像」については、「ｇａｉｎ＜１．０のとき」の演算により、画像の高輝度部分の重みが大きくなるように重みの算出が行われる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷは０に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷは（−２ｌｏｇ２（ｇａｉｎ））に設定されるものとする。）。これは、高輝度部分については、基準画像よりも露光量が少なくなるように撮影された「他の入力画像」の情報が良好なためである。
また、基準画像に対して露出オーバーとなる露出条件で撮影された「他の入力画像」については、「ｇａｉｎ＞１．０のとき」の演算により、画像の低輝度部分の重みが大きくなるように重みの算出が行われる（但し、ｆＹ＜ｍｉｎのときには式（２）に拘わらずＷは（２ｌｏｇ２（ｇａｉｎ））に設定され、ｆＹ＞ｍａｘのときには式（２）に拘わらずＷは０に設定されるものとする。）。これは、低輝度部分については、基準画像よりも露光量が多くなるように撮影された「他の入力画像」の情報が良好なためである。
【００４６】
ステップ１０６：制御部１１は、基準画像と他の入力画像とを、下記の（式３）の重み付け合成処理により合成して、高コントラスト画像を作成する。
【００４７】
具体的には、Ｒ（r），Ｇ（g），Ｂ（b）の各色成分毎に、基準画像と他の入力画像と
を上記の算出された重みで重み付け合成することによって高コントラスト画像を作成する。なお、（式３）のｇc（ｘ，ｙ）は作成される高コントラスト画像であり、ｆc（ｘ，ｙ）は「基準画像」、ｈ1c（ｘ，ｙ）〜ｈn-1c（ｘ，ｙ）は他の入力画像（１〜Ｎ−１、つまり、基準画像を除いた残りの１枚以上の入力画像）を示している。そして、Ｗ1〜Ｗn-1は他の入力画像（１〜Ｎ−１）のそれぞれに対して上記ステップ１０５で算出された重み、「１．０」は基準画像に対する重み、「ｎ」は入力画像の枚数（Ｎ）、「ｃ」はＲ（r），Ｇ（g），Ｂ（b）の各色成分を示している。
【００４８】
【数３】
0005408053.tif 000006
このように、本実施形態の画像処理装置では、輝度成分のみに基づいて重みを算出し（上記ステップ１０５）、それを入力画像のＲ（r），Ｇ（g），Ｂ（b）の色成分の全てに適用するようにして重み付け合成処理を行っている（本ステップ１０６）。そのため、作成される高コントラスト画像には、入力画像個々の色バランスが、そのまま維持された状態で、確実に反映されることとなる。
【００４９】
また、上記とは異なり、入力画像のＲ（r），Ｇ（g），Ｂ（b）の色成分の個々につい
て高コントラスト画像を生成する、具体的には上記の輝度成分で処理している箇所を、全て、色成分毎の処理に置き換えるようにすれば、より有効に階調幅を表現できるようになる。
【００５０】
ステップ１０７：制御部１１は、作成した高コントラスト画像を記録媒体１６へ記録する。なお、高コントラスト画像は、非圧縮のまま記録するのが好ましい。そして、制御部１１は、本フローチャートの処理を終了する。
【００５１】
なお、上記の処理は、特に、図４の輝度ヒストグラムに示すようなコントラストの低い（コントラストのはっきりしない）被写体を撮影して高コントラスト画像を作成する場合に、特に効果を発揮することができる。その場合、露出ステップを例えば１／３段などの小さな刻み幅として露出ブラケット撮影を行い、それによって取得する同一シーンを撮影した露光量の異なる複数枚の画像を入力画像に指定して、上記の処理を行うようにするとよい。
【００５２】
（実施形態の補足事項）
なお、上述した高コントラスト画像の作成に使用する入力画像は、ガンマ補正（ガンマ変換）等が施されていないもの、つまり、画像信号成分が撮像素子から出力された状態のリニア特性の状態のものである必要がある。そのため、ガンマ補正（ガンマ変換）等の画像処理が施された入力画像を用いる場合には、画像信号成分をリニア特性の状態に戻すため、入力画像に対し、一旦、逆ガンマ補正（逆ガンマ変換）を施した後で、上記ステップ１０１からの処理を行うようにする。
【００５３】
また、上記ステップ１０７では、作成した高コントラスト画像を記録媒体１６へ記録するだけでなく、高コントラスト画像の内容をモニタ１７に表示するようにしてもよい。
【００５４】
また、高コントラスト画像を基に、ユーザーが、最終結果となる任意の階調幅の画像を作成することができるようにしてもよい。その場合、ユーザーに、拡張または圧縮後の階調幅を指定させ、その指定された内容で、例えば図５に示すように、高コントラスト画像を基に階調変換を行って、最終結果となる画像を作成するようにする。なお、その場合の階調変換は、例えば、階調変換用のＬＵＴ（ルックアップテーブル）を使用したり、ヒストグラム均等化法（ＨＥ）による変換式を用いるなど、既存の手法によって行うことが可能である。
【００５５】
また、作成された最終結果の画像は、圧縮／復号部１５により圧縮してから記録媒体１６へ記録するとよい。また、最終結果の画像の内容をモニタ１７に表示するようにしてもよい。
【００５６】
（実施形態の作用効果）
本実施形態の画像処理装置では、入力画像（１〜Ｎ）のそれぞれについて縮小画像が作成される。縮小画像は、例えば、各入力画像の空間方向でｎ×ｎ（ｎ≧２）画素の画素値の平均をとることによって作成される。
【００５７】
次に、各縮小画像の輝度ヒストグラムを解析した結果に基づき、輝度分布の有効幅の最も広い１枚の画像が、入力画像の中から、基準画像として選定される。
【００５８】
また、縮小画像の輝度成分の情報を基に、基準画像を基準にした他の入力画像（基準画像を除いた残りの１枚以上の入力画像）との輝度比率が、ゲインとして、他の入力画像のそれぞれについて算出される。
【００５９】
そして、算出された各ゲインと、基準画像の輝度成分の情報とを基に、他の入力画像のそれぞれに対して適用する重みが算出され、その重みを使用して基準画像と他の入力画像との重み付け合成処理が行われて、合成結果の高コントラスト画像が作成される。
【００６０】
このように、本実施形態の画像処理装置では、入力画像（１〜Ｎ）を縮小した「縮小画像」の情報を基にして、基準画像の選定、ゲインの算出、そして重みの算出が行われる。
【００６１】
そのため、合成対象となる入力画像中にノイズの生じた画素が含まれる場合にも、重み付け合成処理によって作成される高コントラスト画像においては、そのノイズ成分が軽減される。また、入力画像中に突出的な画素値を有する画素が含まれる場合にも、重み付け合成処理によって作成される高コントラスト画像においては、階調飛びが生じにくい。
【００６２】
また、本実施形態の画像処理装置では、算出されたゲイン（基準画像を基準とした輝度比率）の値が小さい（ｇａｉｎ＜１．０）他の入力画像、即ち、基準画像に対して露出アンダーとなる露出条件で撮影された他の入力画像に対しては、画像の高輝度部分の重みが大きくなるように重みの算出が行われる。これは、基準画像よりも露光量が少なくなるように露出アンダーで撮影された他の入力画像は、その高輝度部分の情報が良好なためである。また、算出されたゲインの値が大きい（ｇａｉｎ＞１．０）他の入力画像、即ち、基準画像に対して露出オーバーとなる露出条件で撮影された他の入力画像に対しては、画像の低輝度部分の重みが大きくなるように重みの算出が行われる。これは、基準画像よりも露光量が多くなるように露出オーバーで撮影された他の入力画像は、その低輝度部分の情報が良好なためである。
【００６３】
そのため、合成対象となる入力画像中に輝度変化の滑らかな構造を持つ部分が含まれる場合にも、重み付け合成処理によって作成される高コントラスト画像においては、階調飛びが生じにくい。
【００６４】
また、本実施形態の画像処理装置では、入力画像（１〜Ｎ）のうち、輝度分布の有効幅の最も広い１枚の画像が基準画像として選定され、その基準画像に基づきゲイン算出及び重み算出が行われる。そして、算出されたその重みを使用して、基準画像と他の入力画像との重み付け合成処理が行われて、高コントラスト画像が作成される。
【００６５】
このように、本実施形態の画像処理装置では、輝度分布の有効幅の最も広い基準画像をベースにして上記の合成処理が行われるので、合成によって高コントラスト画像に生じるノイズ、また階調飛びを、従来よりも減少させることができる。
【００６６】
よって、本実施形態の画像処理装置によれば、良好な画質の高コントラスト画像を得ることができる。
【００６７】
（その他）
本発明は、露出ブラケット撮影が可能な他の機器、例えば、デジタルカメラ（デジタルスチルカメラ）やデジタルビデオカメラ、携帯電話機などにも適用することができる。さらに、本発明は、撮像素子を用いて取得した画像により被写体の観察を行うことが可能な顕微鏡などにも適用することができる。
【符号の説明】
【００６８】
１０…画像処理装置（本体），１１…制御部，１２…撮像ユニット収容部，１３…バッファメモリ，１４…データ処理部，１５…圧縮／復号部，１６…記録媒体，１７…モニタ，１８…操作部，１９…システムバス，２０…撮像ユニット
【図１】
0005408053.tif 000009
【図２】
0005408053.tif 000010
【図３】
0005408053.tif 000011
【図４】
0005408053.tif 000012
【図５】
0005408053.tif 000013