(57)【要約】【課題】画像の階調性を向上させるに際し、とくに暗部の再現性を向上させる。【解決手段】ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、最も露出が低い第１の画像以外の他の画像の明るさを第１の画像の明るさに合わせるように補正するとともに、ｍビットからｎビット（ｎ＞ｍ）にビット拡張することにより露出調整処理を行う。そして、ビット拡張された画像を合成してｎビットの合成画像ＧＭの画像データを出力する。【選択図】図３
2009276956.tif 000002
【特許請求の範囲】
【請求項１】
露出が異なる複数の画像を取得する画像取得手段と、
前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行う露出調整手段と、
該露出調整処理が行われた複数の画像を合成して合成画像を生成する合成手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記露出調整手段は、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように補正するとともにビット拡張することにより、前記露出調整処理を行う手段であり、
前記合成手段は、前記第１の画像における前記他の画像に相当する情報を前記露出調整処理が行われた他の画像の情報と置換することにより前記合成画像を生成する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記露出調整手段は、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように前記複数の画像に対してビット拡張しつつゲイン処理を行い、該ゲイン処理後の複数の画像の重複を回避するオフセット処理を行うことにより、前記露出調整処理を行う手段であり、
前記合成手段は、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記露出調整手段は、前記複数の画像のそれぞれの明るさを入力とし、前記ゲイン処理および前記オフセット処理後の明るさを出力とするテーブルを参照することにより、前記ゲイン処理および前記オフセット処理を行う手段であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記テーブルは、前記合成画像における前記複数の画像のそれぞれの明るさの飽和部分が漸次変化するように前記ゲイン処理および前記オフセット処理を行うテーブルであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記露出調整手段は、前記複数の画像における飽和部分の明るさが漸次変化するとともに、前記複数の画像の重複を回避するオフセット処理を行うように前記複数の画像をテーブルにより変換し、該変換された複数の画像に対してビット拡張しつつゲイン処理を行うことにより、前記露出調整処理を行う手段であり、
前記合成手段は、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記露出調整手段は、前記複数の画像に対して順次前記露出調整処理を行う手段であり、
前記合成手段は、前記露出調整処理が行われた各画像を順次合成する手段であることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
【請求項８】
前記画像取得手段が、撮影により画像を取得する撮影手段と、
前記同一シーンに対して、露出を異ならせた複数回の撮影を行うことにより前記複数の画像を取得するよう前記撮影手段を制御する撮影制御手段とを備えたことを特徴とする請求項１から７のいずれか１項画像処理装置。
【請求項９】
露出が異なる複数の画像を取得し、
前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行い、
該露出調整処理が行われた複数の画像を合成して合成画像を生成することを特徴とする画像処理方法。
【請求項１０】
露出が異なる複数の画像を取得する手順と、
前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行う手順と、
該露出調整処理が行われた複数の画像を合成して合成画像を生成する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の階調性を向上させる画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
通常、デジタルカメラ等の撮影装置においては、撮影により撮像素子から出力された撮像信号に対して、ホワイトバランス補正処理、階調変換処理、シェーディング補正処理および露出補正処理等の各種信号処理を行うことにより、出力される画像の画質を向上させている。しかしながら、撮像信号に対しては各種信号処理によりゲインがかかるために、分解能が低下してしまうことから、出力される画像の分解能よりも信号処理される画像の分解能を高くする必要がある。このため、撮影装置においては、８ビットの階調を有する画像を出力するために、撮像素子から出力されるアナログ撮像信号に対して、例えば１２ビットまたは１４ビットというように、８ビット以上の分解能によりＡ／Ｄ変換を行って、デジタルの撮像信号を取得するようにしている。
【０００３】
しかしながら、信号処理される画像のビット数はＡ／Ｄ変換の分解能により制限されてしまうため、Ａ／Ｄ変換の分解能以上のビット精度により信号処理を行うことができない。この場合、Ａ／Ｄ変換の分解能を向上させることが考えられるが、Ａ／Ｄ変換の分解能を向上させると、Ａ／Ｄ変換を行うための回路のコスト、ひいては装置のコストが上昇する。
【０００４】
このため、高感度の信号および低感度の信号を取得可能な撮像素子を使用し、明るさが所定のしきい値以上となる画素については低感度の信号を使用するようにしたシステムが提案されている（特許文献１参照）。特許文献１に記載されたシステムによれば、とくにハイライト側の階調の良好な繋がりを実現することができる。
【特許文献１】特開２００１−８１０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載されたシステムにおいては、ハイライト側の階調の再現性を良好なものとすることができるものの、暗部の階調の再現性を改善することができない。ここで、撮影装置において行われる階調変換処理は、図８に示すように暗部の変化率が大きいため、暗部の階調が再現されていないと、出力される画像に黒つぶれが生じやすくなってしまう。
【０００６】
本発明は、上記事情に鑑みなされたものであり、画像の階調性を向上させるに際し、とくに暗部の再現性を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像処理装置は、露出が異なる複数の画像を取得する画像取得手段と、
前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行う露出調整手段と、
該露出調整処理が行われた複数の画像を合成して合成画像を生成する合成手段とを備えたことを特徴とするものである。
【０００８】
なお、本発明による画像処理装置においては、前記露出調整手段を、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように補正するとともにビット拡張することにより、前記露出調整処理を行う手段とし、
前記合成手段を、前記第１の画像における前記他の画像に相当する情報を前記露出調整処理が行われた他の画像の情報と置換することにより前記合成画像を生成する手段としてもよい。
【０００９】
また、本発明による画像処理装置においては、前記露出調整手段を、前記第１の画像以外の他の画像の明るさを該第１の画像の明るさに合わせるように前記複数の画像に対してビット拡張しつつゲイン処理を行い、該ゲイン処理後の複数の画像の重複を回避するオフセット処理を行うことにより、前記露出調整処理を行う手段とし、
前記合成手段を、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段としてもよい。
【００１０】
この場合、前記露出調整手段を、前記複数の画像のそれぞれの明るさを入力とし、前記ゲイン処理および前記オフセット処理後の明るさを出力とするテーブルを参照することにより、前記ゲイン処理および前記オフセット処理を行う手段としてもよい。
【００１１】
またこの場合、前記テーブルを、前記合成画像における前記複数の画像のそれぞれの明るさの飽和部分が漸次変化するように前記ゲイン処理および前記オフセット処理を行うテーブルとしてもよい。
【００１２】
また、本発明による画像処理装置においては、前記露出調整手段を、前記複数の画像における飽和部分の明るさが漸次変化するとともに、前記複数の画像の重複を回避するオフセット処理を行うように前記複数の画像をテーブルにより変換し、該変換された複数の画像に対してビット拡張しつつゲイン処理を行うことにより、前記露出調整処理を行う手段とし、
前記合成手段を、前記露出調整処理が行われた複数の画像を加算することにより前記合成画像を生成する手段としてもよい。
【００１３】
また、本発明による画像処理装置においては、前記露出調整手段を、前記複数の画像に対して順次前記露出調整処理を行う手段とし、
前記合成手段を、前記露出調整処理が行われた各画像を順次合成する手段としてもよい。
【００１４】
また、本発明による画像処理装置においては、前記画像取得手段を、撮影により画像を取得する撮影手段と、
前記同一シーンに対して、露出を異ならせた複数回の撮影を行うことにより前記複数の画像を取得するよう前記撮影手段を制御する撮影制御手段とを備えるものとしてもよい。
【００１５】
本発明による画像処理方法は、露出が異なる複数の画像を取得し、
前記複数の画像のそれぞれをビット拡張しつつ、前記複数の画像のうち最も露出が低い第１の画像に該複数の画像の露出を合わせる露出調整処理を行い、
該露出調整処理が行われた複数の画像を合成して合成画像を生成することを特徴とするものである。
【００１６】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１７】
本発明によれば、露出が異なる複数の画像が取得され、複数の画像のそれぞれをビット拡張しつつ、複数の画像のうち最も露出が低い第１の画像に複数の画像の露出を合わせる露出調整処理が行われる。そして、露出調整処理が行われた複数の画像が合成されて合成画像が生成される。
【００１８】
ここで、画像の露出が高いほど暗部の分解能が高くなる。逆に画像の露出が低いほど明部の分解能が高くなる。したがって、ビット拡張しつつ第１の画像の露出に複数の画像の露出を合わせた露出調整後の画像から得られる合成画像は、とくに暗部において露出が高い画像のビット精度が維持されるため、暗部の分解能が高くなる。したがって、本発明によれば、とくに暗部の階調再現性が向上した合成画像を取得することができる。
【００１９】
また、ゲイン処理およびオフセット処理により露出調整処理を行うことにより、乗算および加減算という簡易な演算により露出調整処理を行うことができる。また、ゲイン処理は、画像に対して施される撮像素子の暗電流を補正するためのオプティカルブラック補正処理およびホワイトバランス補正処理と併せて行うことができるため、これらの処理とゲイン処理とを併せて行うことにより、画像に対して処理を施す際の演算量を低減することができる。
【００２０】
また、ゲイン処理およびオフセット処理により露出調整処理を行うに際し、複数の画像のそれぞれの明るさを入力とし、ゲイン処理およびオフセット処理後の明るさを出力とするテーブルを参照してゲイン処理およびオフセット処理を行うことにより、簡易に露出調整処理を行うことができる。
【００２１】
この際、テーブルを、合成画像における複数の画像のそれぞれの明るさの飽和部分が漸次変化するようにゲイン処理およびオフセット処理を行うものとすることにより、合成画像における画像が切り替わる部分における明るさの変化を滑らかなものとすることができるため、合成画像の画質をより向上させることができる。
【００２２】
また、複数の画像における飽和部分の明るさが漸次変化するとともに、複数の画像の重複を回避するオフセット処理を行うようにテーブルにより複数の画像を変換し、変換された複数の画像に対してビット拡張しつつゲイン処理を行うことによって露出調整処理を行うことにより、テーブルによる変換においてはビット拡張がなされないこととなる。これにより、テーブルの容量を低減できるため、テーブルを記憶するための記憶手段の容量を低減することができ、その結果、装置の構成を簡易なものとすることができるとともに、装置のコストを低減することができる。
【００２３】
また、複数の画像に対して順次露出調整処理を行い、露出調整処理が行われた各画像を順次合成することにより、複数の画像に対して一度に露出調整処理を行う場合と比較して、処理を行う記憶手段の容量を低減することができ、その結果、装置の構成を簡易なものとすることができるとともに、装置のコストを低減することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように第１の実施形態によるデジタルカメラ１は、撮像部２、撮像制御部３、信号処理部４、圧縮／伸長処理部５、フレームメモリ６、メディア制御部７、内部メモリ８、および表示制御部９を備える。
【００２５】
図２は撮像部２の構成を示す図である。図２に示すように、撮像部２は、レンズ２０、絞り２１、シャッタ２２、ＣＣＤ２３、アナログフロントエンド（ＡＦＥ）２４およびＡ／Ｄ変換部２５をそれぞれ備える。
【００２６】
レンズ２０は、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。例えば、フォーカスレンズは、レンズ駆動部によりその焦点位置が調整される。
【００２７】
絞り２１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。
【００２８】
シャッタ２２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
【００２９】
ＣＣＤ２３は、多数の受光素子を２次元的に配列した所定サイズの光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ２３の前面には、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
【００３０】
ＡＦＥ２４は、ＣＣＤ２３から出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。
【００３１】
Ａ／Ｄ変換部２５は、ＡＦＥ２４によりアナログ処理が施されたアナログ撮像信号をあらかじめ定められたビット数を有するデジタルの撮像信号に変換する。なお、撮像部２のＣＣＤ２３において取得され、デジタル撮像信号に変換されることにより得られる画像データは、画素ごとにＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。
【００３２】
撮像制御部３は、レリーズボタン押下後に撮像の制御を行う。また、レリーズボタンの半押し操作により、ＡＦ処理およびＡＥ処理を行って、フォーカスレンズの焦点位置、絞り値データおよびシャッタスピードを設定する。なお、撮像制御部３は、レリーズボタンが押下されていない状態においては、スルー画像の撮影を行うよう撮像部２を制御する。また、本実施形態においては、撮像制御部３は、レリーズボタンの押下後に、露出が異なる複数の画像を取得するＡＥブラケット撮影を行うよう、撮像部２を制御する。具体的には、＋１Ｅｖ、＋２Ｅｖというように露出を複数段に異ならせて複数回の撮影を行うことによりＡＥブラケット撮影を行う。
【００３３】
信号処理部４は、後述するように撮像部２が取得した画像から生成された合成画像の画像データに対して、ＣＣＤ２３の暗電流を補正するオプティカルブラック補正処理、ホワイトバランスを調整する処理、階調変換、シャープネス補正、および色補正等の信号処理を施す。
【００３４】
圧縮／伸長処理部５は、信号処理部４によって処理が施された画像データ対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を施して画像ファイルを生成する。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたヘッダが付与される。
【００３５】
フレームメモリ６は、撮像部２が取得した画像を表す画像データに対して、前述の信号処理部４が行う処理を含む各種処理を行う際に使用する作業用メモリである。
【００３６】
メディア制御部７は、記録メディア１０にアクセスして画像ファイルの書き込みと読み出しの制御を行う。
【００３７】
内部メモリ８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ１５が実行するプログラム等を記憶する。
【００３８】
表示制御部９は、フレームメモリ６に格納された画像データをモニタ１１に表示させたり、記録メディア１０に記録されている画像をモニタ１１に表示させたりするためのものである。
【００３９】
また、デジタルカメラ１は、露出調整部１２および合成部１３を備える。図３は第１の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図３に示すように、第１の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される複数の画像Ｇ１〜Ｇｋのそれぞれに対して、最も露出が低い第１の画像以外の他の画像の明るさを第１の画像の明るさに合わせるように補正するとともに、ｍビットからｎビット（ｎ＞ｍ）にビット拡張することにより露出調整処理を行う。そして、露出調整処理が行われた画像を合成してｎビットの合成画像ＧＭの画像データを出力する。
【００４０】
以下、第１の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。なお、露出差は必要なビット数に応じて変更可能であり、具体的には２Ｅｖ〜３Ｅｖとすることが好ましい。また、２回の撮影のうち露出が低い方の撮影を低露出撮影、露出が高い方の撮影を高露出撮影と称するものとする。また、低露出撮影および高露出撮影により取得されたＡ／Ｄ変換後の画像を、低露出画像ＧＬおよび高露出画像ＧＨと称するものとする。
【００４１】
図４は低露出画像ＧＬにおける光量と低露出画像ＧＬのＱＬ値（すなわち画像の各画素のデジタル撮像信号値）との関係を示す図、図５は高露出画像における光量と高露出画像ＧＨのＱＬ値との関係を示す図である。図４に示すように低露出撮影により得られる低露出画像ＧＬは、広い光量の範囲に亘って階調を有するものとなっている。一方、図５に示すように高露出撮影により得られる高露出画像ＧＨは、露出差が２Ｅｖであることから階調が得られる光量範囲は低露出画像の１／４であるが、暗部の階調表現がより精細なものとなっている。
【００４２】
したがって、露出調整部１２は、高露出画像ＧＨをビット拡張しつつ高露出画像ＧＨの露出を低露出画像ＧＬの露出に合わせるように、高露出画像ＧＨの露出を調整する。ここで、低露出画像ＧＬと高露出画像ＧＨとの露出差は２Ｅｖであるため、図５の破線に示すように、高露出画像ＧＨの明るさを１／４に調整する。これにより、高露出画像ＧＨのビット精度はｍビットからｍ＋２ビットに拡張されることとなる。なお、ｍ＋２ビットに拡張されるのは、低露出画像ＧＬと高露出画像ＧＨとの露出差が２Ｅｖであるからであり、露出差がαＥｖである場合には、露出調整処理によりｍ＋αビットに拡張されることとなる。なお、低露出画像ＧＬについては、明るさは調整されることなく、ビット精度のみがｍビットからｍ＋２ビットに拡張されることとなる。
【００４３】
合成部１３は、露出調整処理が行われた低露出画像ＧＬ′および高露出画像ＧＨ′を合成する。具体的には、低露出画像ＧＬ′の暗部の情報を高露出画像ＧＨ′と置換することにより、低露出画像ＧＬ′および高露出画像ＧＨ′とを合成して合成画像ＧＭを生成する。図６は合成画像ＧＭにおける光量とＱＬ値との関係を示す図である。なお、図６において、低露出画像ＧＬ′を高露出画像ＧＨと置換した部分を破線で示す。図６に示すように合成画像ＧＭにおいては、暗部の分解能が高露出画像ＧＨの分解能に相当するものとなっており、低露出画像ＧＬよりも分解能が向上したものとなっている。
【００４４】
ＣＰＵ１５は、十字キー、各種操作ボタンおよびレリーズボタンを含む入力部１６からの信号に応じてデジタルカメラ１の各部を制御する。
【００４５】
データバス１７は、デジタルカメラ１を構成する各部およびＣＰＵ１５に接続されており、デジタルカメラ１における各種データおよび各種情報のやり取りを行う。
【００４６】
次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。
【００４７】
レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ１）。これにより、露出が異なる複数の画像が取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ２）。そして、露出調整部１２が、取得された複数の画像Ｇ１〜Ｇｋに対してビット拡張しつつ露出調整処理を行う（ステップＳＴ３）。さらに合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ４）。
【００４８】
次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ５）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ６）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ７）、処理を終了する。
【００４９】
ここで、信号処理部４が行う階調変換の特性は、図８に示すように入力の信号値が小さい部分、すなわち暗部における変化率が大きくなる。このように暗部の階調の分解能が小さいと、階調変換により暗部の階調に黒つぶれが生じやすくなる。
【００５０】
一方、画像の露出が高いほど暗部の分解能が高くなる。逆に画像の露出が低いほど明部の分解能が高くなる。したがって、ビット拡張しつつ第１の画像の露出に複数の画像の露出を合わせた露出調整後の画像から得られる合成画像ＧＭは、とくに暗部において露出が高い画像のビット精度が維持されるため、暗部の分解能が高くなる。したがって、第１の実施形態によれば、とくに暗部の階調再現性が向上した合成画像ＧＭを取得することができる。
【００５１】
なお、信号処理部４が行う階調変換は種々の特性を有するものであり、階調変換の特性に応じて、暗部の変化率が異なるものとなる。このため、階調変換の特性に応じて、ＡＥブラケット撮影を行う際の最大露出差（すなわち最も露出が低い画像と最も露出が高い画像との露出差）を変更するようにしてもよい。具体的には、階調変換における暗部の変化率が大きいほど最大露出差が大きくなるようにＡＥブラケット撮影を行うようにすればよい。
【００５２】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による画像処理装置を適用したデジタルカメラの構成は、上記第１の実施形態によるデジタルカメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第２の実施形態においては、露出調整処理をゲイン処理およびオフセット処理により行うようにしたものである。
【００５３】
図９は第２の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図９に示すように、第２の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、最も露出が低い第１の画像以外の他の画像の明るさを第１の画像の明るさに合わせるように、ｍビットからｎビット（ｎ＞ｍ）にビット拡張しつつゲイン処理を行い、ゲイン処理後の画像に対して重複を回避するためのオフセット処理を行うことにより露出調整処理を行う。そして、露出調整処理が行われた画像を加算してｎビットの合成画像ＧＭの画像データを出力する。
【００５４】
以下、第２の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、第１の実施形態と同様に２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。
【００５５】
まず、露出調整部１２は、画像に対して露出差に応じたゲインを設定する。すなわち、露出が最も低い画像を基準とすると、基準となる露出が最も低い画像に対しては１倍、露出差が１Ｅｖの画像に対しては１／２倍、露出差が２Ｅｖの画像に対しては１／４倍のゲインを設定する。ここでは、低露出画像ＧＬと高露出画像ＧＨとの露出差が２Ｅｖであることから、露出調整部１２は、低露出画像ＧＬに対してはゲインを１倍に、高露出画像ＧＨに対してはゲインを１／４倍に設定する。
【００５６】
また、露出調整部１２は、画像に対して露出差に応じたオフセット値を設定する。ここでオフセット値は、合成画像ＧＭにおける情報の重複を回避するためのものであり、各画像に対して次に露出が低い画像のゲイン処理後の最大ＱＬ値をオフセット値に設定する。すなわち、露出が最も低い基準となる画像に対してはオフセット値を１／２×ＱＬｍａｘに、基準となる画像との露出差が１Ｅｖの画像に対しては１／４×ＱＬｍａｘにオフセット値を設定する。なお、ＱＬｍａｘは各画像Ｇ１〜ＧｋのＱＬ値の最大値である。また、露出が最も高い画像についてはオフセット値を０に設定する。ここでは、低露出画像ＧＬと高露出画像ＧＨとの露出差が２Ｅｖであることから、露出調整部１２は、低露出画像ＧＬに対して１／４×ＱＬｍａｘをオフセット値に設定する。
【００５７】
そして、露出調整部１２は、設定したゲインおよびオフセット値により画像に対して露出調整処理を行う。図１０は低露出画像に対するゲイン処理およびオフセット処理を、図１１は高露出画像に対するゲイン処理およびオフセット処理を説明するための図である。
【００５８】
図１０に示すように低露出画像ＧＬに対しては、ｍビットからｍ＋２ビットにビット拡張しつつ１倍のゲインによるゲイン処理が行われ、１／４×ＱＬｍａｘをオフセット値とするオフセット処理が行われる。これにより、低露出画像ＧＬの光量とＱＬ値との関係は、露出調整処理により破線から実線に示すものとなる。
【００５９】
一方、図１１に示すように高露出画像ＧＨに対しては、ｍビットからｍ＋２ビットにビット拡張しつつ１／４倍のゲインによるゲイン処理が施され、オフセット値は０であることからオフセット処理は施されない。これにより、高露出画像ＧＨの光量とＱＬ値との関係は、露出調整処理により破線から実線に示すものとなる。
【００６０】
なお、ゲイン処理およびオフセット処理はこの順序で行う必要はなく、オフセット処理を行った後にゲイン処理を行うようにしてもよい。
【００６１】
合成部１３は、露出調整処理が行われた低露出画像ＧＬ′および高露出画像ＧＨ′を合成する。具体的には、低露出画像ＧＬ′および高露出画像ＧＨ′を加算することにより、低露出画像ＧＬ′および高露出画像ＧＨ′を合成して合成画像ＧＭを生成する。図１２は合成画像ＧＭにおける光量とＱＬ値との関係を示す図である。図１２に示すように合成画像ＧＭにおいては、暗部の分解能が高露出画像ＧＨの分解能に相当するものとなっており、低露出画像ＧＬよりも分解能が向上したものとなっている。また、オフセット処理により、合成画像ＧＭにおける光量とＱＬ値との関係は、線形となっている。
【００６２】
次いで、第２の実施形態において行われる処理について説明する。図１３は第２の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。
【００６３】
レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ１１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ１２）。そして、露出調整部１２が、取得された画像Ｇ１〜Ｇｋに対してゲイン処理を行い（ステップＳＴ１３）、さらにオフセット処理を行う（ステップＳＴ１４）。次いで合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ１５）。
【００６４】
次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ１６）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ１７）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ１８）、処理を終了する。
【００６５】
このように、第２の実施形態においては、ゲイン処理およびオフセット処理により露出調整処理を行うようにしたため、乗算および加減算という簡易な演算により露出調整処理を行うことができる。また、ゲイン処理は、画像に対して施されるＣＣＤ２３の暗電流を補正するためのオプティカルブラック補正処理およびホワイトバランス補正処理と併せて行うことができるため、これらの処理とゲイン処理とを併せて行うことにより、信号処理部４が合成画像ＧＭに対して信号処理を施す際の演算量を低減することができる。
【００６６】
次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態による画像処理装置を適用したデジタルカメラの構成は、上記第１の実施形態によるデジタルカメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第３の実施形態においては、第２の実施形態によるゲイン処理およびオフセット処理をテーブルを用いて行うようにしたものである。またその際に、合成画像における複数の画像のそれぞれの明るさの飽和部分が漸次変化するようにしたものである。
【００６７】
図１４は第３の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図１４に示すように、第３の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、テーブル変換によりｍビットからｎビット（ｎ＞ｍ）にビット拡張しつつゲイン処理およびオフセット処理を行うことにより露出調整処理を行う。そして、露出調整処理が施された画像を加算してｎビットの合成画像ＧＭの画像データを出力する。なお、第３の実施形態においては、露出差に応じた複数のテーブルが内部メモリ８に記憶されており、画像の露出差に応じたテーブルを選択し、選択したテーブルによりテーブル変換を行うものである。
【００６８】
以下、第３の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、第１の実施形態と同様に２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。
【００６９】
図１５は低露出画像用のテーブルを、図１６は高露出画像用のテーブルを示す図である。図１５に示すように低露出画像用のテーブルＴ１は、０〜入力の最大値の１／４の直前までは入力に対する出力が０となり、入力最大値の１／４から徐々に出力が大きくなり、以降入力と出力との関係が比例するような変換テーブルとなっている。具体的には、ゲインを１倍とし、１／４×ＱＬｍａｘをオフセットするとともに、ビット数をｍからｍ＋２に拡張する変換テーブルとなっている。
【００７０】
一方、図１６に示すように高露出画像用のテーブルＴ２は、入力に対する出力が１／４となり、入力が大きい部分においては徐々に出力を一定値とするような変換テーブルとなっている。具体的には、ゲインを１／４倍とするとともに、ビット数をｍからｍ＋２に拡張する変換テーブルとなっている。
【００７１】
図１７はテーブルＴ１，Ｔ２による変換後の低露出画像ＧＬおよび高露出画像ＧＨを加算することにより得られる合成画像ＧＭにおける光量とＱＬ値との関係を示す図である。図１７に示すように合成画像ＧＭにおいては、暗部の分解能が高露出画像ＧＨの分解能に相当するものとなっており、低露出画像ＧＬよりも分解能が向上したものとなっている。さらに、合成画像ＧＭにおける低露出画像ＧＬと高露出画像ＧＨとの境界において、低露出画像ＧＬと高露出画像ＧＨとが滑らかに切り替わるようになっている。
【００７２】
次いで、第３の実施形態において行われる処理について説明する。図１８は第３の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。
【００７３】
レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ２１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ２２）。そして、露出調整部１２が、内部メモリ８に記憶された複数のテーブルから、画像の露出差に応じたテーブルを選択する（ステップＳＴ２３）。そして、露出調整部１２は、選択したテーブルにより画像Ｇ１〜Ｇｋをテーブル変換することにより露出調整処理を行う（ステップＳＴ２４）。次いで合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ２５）。
【００７４】
次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ２６）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ２７）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ２８）、処理を終了する。
【００７５】
このように第３の実施形態においては、ゲイン処理およびオフセット処理により露出調整処理を行うに際し、複数の画像の明るさそれぞれを入力とし、ゲイン処理およびオフセット処理後の明るさを出力とするテーブルを参照することによりゲイン処理およびオフセット処理を行うようにしたため、簡易に露出調整処理を行うことができる。
【００７６】
また、テーブルを、合成画像ＧＭにおける複数の画像Ｇ１〜Ｇｋのそれぞれの明るさの飽和部分が漸次変化するようにゲイン処理およびオフセット処理を行うものとすることにより、合成画像ＧＭにおける画像が切り替わる部分における明るさの変化を滑らかなものとすることができるため、合成画像ＧＭの画質をより向上させることができる。
【００７７】
次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態による画像処理装置を適用したデジタルカメラの構成は、上記第１の実施形態によるデジタルカメラの構成と同一であり、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第４の実施形態においては、合成画像ＧＭにおける複数の画像のそれぞれの明るさの飽和部分を漸次変化させる処理およびオフセット処理をテーブル変換により行い、その後第２の実施形態と同様のゲイン処理を行うようにしたものである。
【００７８】
図１９は第４の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図１９に示すように、第４の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれに対して、テーブル変換によりビット拡張することなくオフセット処理を行い、テーブル変換後の画像に対して、ｍビットからｎビット（ｎ＞ｍ）にビット拡張しつつゲイン処理を行うことにより露出調整処理を行う。そして、露出調整処理が施された画像を加算してｎビットの合成画像ＧＭの画像データを出力する。なお、第４の実施形態においては、露出差に応じた複数のテーブルが内部メモリ８に記憶されており、画像の露出差に応じたテーブルを選択し、選択したテーブルによりテーブル変換を行うものである。
【００７９】
以下、第４の実施形態において、ＡＥブラケット撮影により取得された複数の画像を合成する場合の処理について具体的に説明する。なお、ここでは、第１の実施形態と同様に２Ｅｖの露出差を有する２枚の画像を取得するようにＡＥブラケット撮影を行ったものとする。
【００８０】
図２０は高露出画像用のテーブルを示す図である。なお、低露出画像ＧＬに対しては、ゲインは１倍でありオフセット処理のみを施すものであることから、第４の実施形態においては、低露出画像ＧＬに対しては第３の実施形態と同様の図１５に示すテーブルＴ１を用いてテーブル変換を行う。図２０に示すように示すように高露出画像用のテーブルＴ３は、ビット数を拡張することなく、入力が大きい部分において徐々に出力を小さくするような変換テーブルとなっている。
【００８１】
図２１はテーブルＴ３による変換後の高露出画像ＧＨにおける光量とＱＬ値との関係を示す図である。図２１に示すようにテーブルＴ３による変換後の高露出画像ＧＨは、ＱＬ値が飽和する部分が滑らかに変化するようになっている。そして露出調整部１２は、テーブル変換後の高露出画像ＧＨに対して、第２の実施形態と同様に設定したゲインによりビット拡張しつつゲイン処理を行う。
【００８２】
図２２はゲイン処理後の高露出画像ＧＨにおける光量とＱＬ値との関係を示す図である。図２２に示すように、ゲイン処理によりテーブル変換後の高露出画像ＧＨのＱＬ値は１／４に変更されている。
【００８３】
このように取得された露出調整済みの高露出画像ＧＨ′を露出調整済みの低露出画像ＧＬ′と加算することにより、第３の実施形態と同様に、図１７に示すように暗部の分解能が高露出画像ＧＨの分解能に相当し、低露出画像ＧＬよりも分解能が向上した合成画像を生成することができる。また、合成画像ＧＭにおける画像が切り替わる部分における明るさの変化を滑らかなものとすることができるため、合成画像ＧＭの画質をより向上させることができる。
【００８４】
次いで、第４の実施形態において行われる処理について説明する。図２３は第４の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。
【００８５】
レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ３１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ３２）。そして、露出調整部１２が、内部メモリ８に記憶された複数のテーブルから、画像の露出差に応じたテーブルを選択する（ステップＳＴ３３）。そして、露出調整部１２は、選択したテーブルにより画像Ｇ１〜Ｇｋをテーブル変換する（ステップＳＴ３４）。さらにテーブル変換後の画像Ｇ１〜Ｇｋに対してゲイン処理を行う（ステップＳＴ３５）。次いで合成部１３が露出調整処理後の画像Ｇ１〜Ｇｋを合成して合成画像ＧＭを生成する（ステップＳＴ３６）。
【００８６】
次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ３７）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ３８）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ３９）、処理を終了する。
【００８７】
ここで、テーブルによりビット数を拡張すると、テーブルの容量が大きくなることから、テーブルを記憶するための内部メモリ８の記憶領域を大きくする必要がある。第４の実施形態においては、テーブルにより、合成画像ＧＭにおける複数の画像のそれぞれの明るさの飽和部分が漸次変化するように画像Ｇ１〜Ｇｋを変換し、その後にビット拡張しつつゲイン処理を行うようにしたため、ビット拡張を行うテーブルと比較して、テーブルを記憶するための内部メモリ８の記憶領域を低減することができ、その結果、装置の構成を簡易なものにすることができるとともに、装置のコストを低減することができる。
【００８８】
なお、上記第２および第４の実施形態においては、低露出画像ＧＬのゲイン処理は１倍であることからビット拡張するのみである。このため、低露出画像ＧＬに対するゲイン処理において、露出差が１Ｅｖ単位である場合には、ビットシフトによりゲイン処理を行うようにしてもよい。
【００８９】
また、上記第１から第４の実施形態においては、ＡＥブラケット撮影により取得された複数の画像に対して露出調整処理を行った後に合成処理を行っているが、露出調整処理および合成処理を順次行うようにしてもよい。以下これを第５の実施形態として説明する。
【００９０】
図２４は第５の実施形態における露出調整部１２が行う露出調整処理および合成部１３が行う合成処理の概念図である。図２４に示すように、第５の実施形態においては、ＡＥブラケット撮影により取得されたＡ／Ｄ変換後の画像データにより表される画像Ｇ１〜Ｇｋのそれぞれを順次内部メモリ８から読み出し、読み出した画像Ｇ１〜Ｇｋに対してｍビットからｎビットにビット拡張しつつ露出調整処理を行い、露出調整処理が施された画像を合成し、合成された画像が最終的な合成画像ＧＭでない場合、その段階において得られる合成画像を中間合成画像として内部メモリ８に記憶する。そして、順次内部メモリ８から画像を読み出して読み出した画像に露出調整処理を行うとともに、内部メモリ８に記憶された中間合成画像と合成し、露出調整処理および合成の処理を繰り返して最終的な合成画像ＧＭを出力する。
【００９１】
なお、第５の実施形態における露出調整処理および合成処理としては、上記第１から第４の実施形態における露出調整処理および合成処理のいずれを用いてもよいものである。
【００９２】
次いで、第５の実施形態において行われる処理について説明する。図２５は第５の実施形態において行われる処理を示すフローチャートである。なお、ここでは、レリーズボタンが全押しされた以降の処理について説明する。
【００９３】
レリーズボタンが押下されると、撮像制御部３がＡＥブラケット撮影を行う（ステップＳＴ４１）。これにより、露出が異なる複数の画像Ｇ１〜Ｇｋが取得される。取得された複数の画像Ｇ１〜ＧｋはＡ／Ｄ変換され、内部メモリ８に一時的に記憶される（ステップＳＴ４２）。そして、露出調整部１２が、処理の対象の画像Ｇｉ（ｉ＝１〜ｋ）を最初の画像に設定し（ｉ＝１、ステップＳＴ４３）、画像Ｇｉを内部メモリ８から読み出す（ステップＳＴ４４）。
【００９４】
そして、読み出した画像Ｇｉに対してビット拡張しつつ露出調整処理を行う（ステップＳＴ４５）。さらに合成部１３が露出調整処理後の画像Ｇｉを、内部メモリ８に記憶された中間合成画像と合成して合成画像を生成する（ステップＳＴ４６）。なお、ｉ＝１の場合、中間合成画像は内部メモリ８に記憶されていないため、露出調整処理後の画像Ｇｉがそのまま合成画像となる。そして、合成部１３はすべての画像を合成したか否かを判定し（ｉ＝ｋ、ステップＳＴ４７）、ステップＳＴ４７が否定されると、合成画像を中間合成画像として内部メモリ８に記憶するとともに（ステップＳＴ４８）、処理の対象を次の画像に変更し（ｉ＝ｉ＋１、ステップＳＴ４９）、ステップＳＴ４４に戻る。ステップＳＴ４７が肯定されると、合成画像を最終的な合成画像ＧＭとして出力する（ステップＳＴ５０）。
【００９５】
次いで、信号処理部４が合成画像ＧＭに対して信号処理を施し（ステップＳＴ５１）、圧縮／伸長処理部５が信号処理済み画像の画像ファイルを生成し（ステップＳＴ５２）、メディア制御部７が記録メディア１０に画像ファイルを記録し（ステップＳＴ５３）、処理を終了する。
【００９６】
このように、第５の実施形態においては、複数の画像Ｇ１〜Ｇｋに対して順次露出調整処理を行い、露出調整処理が行われた各画像Ｇ１〜Ｇｋを順次合成するようにしたため、複数の画像Ｇ１〜Ｇｋに対して一度に露出調整処理を行う場合と比較して、露出調整処理が行われた複数の画像Ｇ１〜Ｇｋを記憶する必要がなくなることから、内部メモリ８の容量を低減することができ、その結果、装置の構成を簡易なものにすることができるとともに、装置のコストを低減することができる。
【００９７】
なお、上記第１から第５の実施形態においては、本発明による画像処理装置をデジタルカメラに適用しているが、本発明による画像処理装置を単独で用いるようにしてもよい。この場合、画像処理装置は、ＡＥブラケット撮影により取得された複数の画像を装置に入力するための各種インターフェースが設けられることとなる。
【００９８】
また、上記第１から第５の実施形態においては、最も露出が低い画像を基準として露出調整処理および合成処理を行っているが、最も露出が高い画像を基準として露出調整処理および合成処理を行うようにしてもよい。この場合、ゲイン処理としては、最も露出が高い画像以外の他の画像のゲインを高くする処理となる。
【００９９】
また、上記第３および第４の実施形態においては、テーブルを内部メモリ８に記憶しているが、テーブルを記憶するための専用のメモリを設けるようにしてもよい。
【０１００】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の露出調整部１２および合成部１３に対応する手段として機能させ、図７，１３，１８，２３，２５に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図
【図２】撮像部の構成を示す図
【図３】第１の実施形態における露出調整処理および合成処理の概念図
【図４】低露出画像における光量とＱＬ値との関係を示す図
【図５】高露出画像における光量とＱＬ値との関係を示す図
【図６】第１の実施形態により生成される合成画像における光量とＱＬ値との関係を示す図
【図７】第１の実施形態において行われる処理を示すフローチャート
【図８】階調変換の特性を示す図
【図９】第２の実施形態における露出調整処理および合成処理の概念図
【図１０】低露出画像に対するゲイン処理およびオフセット処理を説明するための図
【図１１】高露出画像に対するゲイン処理およびオフセット処理を説明するための図
【図１２】第２の実施形態により生成される合成画像における光量とＱＬ値との関係を示す図
【図１３】第２の実施形態において行われる処理を示すフローチャート
【図１４】第３の実施形態における露出調整処理および合成処理の概念図
【図１５】第３の実施形態における低露出画像用のテーブルを示す図
【図１６】第３の実施形態における高露出画像用のテーブルを示す図
【図１７】第３の実施形態により生成される合成画像における光量とＱＬ値との関係を示す図
【図１８】第３の実施形態において行われる処理を示すフローチャート
【図１９】第４の実施形態における露出調整処理および合成処理の概念図
【図２０】第４の実施形態における高露出画像用のテーブルを示す図
【図２１】第４の実施形態におけるテーブル変換後の高露出画像における光量とＱＬ値との関係を示す図
【図２２】第４の実施形態におけるゲイン処理後の高露出画像における光量とＱＬ値との関係を示す図
【図２３】第４の実施形態において行われる処理を示すフローチャート
【図２４】第５の実施形態における露出調整処理および合成処理の概念図
【図２５】第５の実施形態において行われる処理を示すフローチャート
【符号の説明】
【０１０２】
１    デジタルカメラ
２    撮像部
８    内部メモリ
１２    露出調整部
１３    合成部
１５    ＣＰＵ
【図１】
2009276956.tif 000003
【図２】
2009276956.tif 000004
【図３】
2009276956.tif 000005
【図４】
2009276956.tif 000006
【図５】
2009276956.tif 000007
【図６】
2009276956.tif 000008
【図７】
2009276956.tif 000009
【図８】
2009276956.tif 000010
【図９】
2009276956.tif 000011
【図１０】
2009276956.tif 000012
【図１１】
2009276956.tif 000013
【図１２】
2009276956.tif 000014
【図１３】
2009276956.tif 000015
【図１４】
2009276956.tif 000016
【図１５】
2009276956.tif 000017
【図１６】
2009276956.tif 000018
【図１７】
2009276956.tif 000019
【図１８】
2009276956.tif 000020
【図１９】
2009276956.tif 000021
【図２０】
2009276956.tif 000022
【図２１】
2009276956.tif 000023
【図２２】
2009276956.tif 000024
【図２３】
2009276956.tif 000025
【図２４】
2009276956.tif 000026
【図２５】
2009276956.tif 000027