(57)【特許請求の範囲】
【請求項１】
異なる露出感度で撮影された複数の画像データを用いて、前記画像データよりも広いダイナミックレンジを有する広ダイナミックレンジ画像データを生成する画像処理装置において、
基準となる露出感度で撮影された基準画像データと、前記基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力手段と、
前記基準画像データの画素の画素値に対して、前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する前記広ダイナミックレンジ画像データを生成する生成手段と
を含み、
前記入力手段は、振幅特性を示す露出感度情報が付加された前記複数の２ｎ倍画像データを順次入力し、
前記生成手段は、順次入力される前記２ｎ倍画像データの露出感度情報に基づき、前記２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、前記基準画像データの画素の画素値に対して前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算する
画像処理装置。
【請求項２】
前記生成手段が生成した前記広ダイナミックレンジ画像データに所定の画像加工処理を施す画像加工手段を
さらに含む請求項１に記載の画像処理装置。
【請求項３】
前記画像加工手段は、前記広ダイナミックレンジ画像データにデモザイク処理を施してフルカラー広ダイナミックレンジ画像データを生成する
請求項２に記載の画像処理装置。
【請求項４】
異なる露出感度で撮影された複数の画像データを用いて、前記画像データよりも広いダイナミックレンジを有する広ダイナミックレンジ画像データを生成する画像処理装置の画像処理方法において、
基準となる露出感度で撮影された基準画像データと、前記基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力ステップと、
前記基準画像データの画素の画素値に対して、前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する前記広ダイナミックレンジ画像データを生成する生成ステップと
を含み、
前記入力ステップは、振幅特性を示す露出感度情報が付加された前記複数の２ｎ倍画像データを順次入力し、
前記生成ステップは、順次入力される前記２ｎ倍画像データの露出感度情報に基づき、前記２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、前記基準画像データの画素の画素値に対して前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算する
画像処理方法。
【請求項５】
異なる露出感度で撮影された複数の画像データを用いて、前記画像データよりも広いダイナミックレンジを有する広ダイナミックレンジ画像データを生成する画像処理装置の制御用のプログラムであって、
基準となる露出感度で撮影された基準画像データと、前記基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力ステップと、
前記基準画像データの画素の画素値に対して、前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する前記広ダイナミックレンジ画像データを生成する生成ステップと
を含み、
前記入力ステップは、振幅特性を示す露出感度情報が付加された前記複数の２ｎ倍画像データを順次入力し、
前記生成ステップは、順次入力される前記２ｎ倍画像データの露出感度情報に基づき、前記２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、前記基準画像データの画素の画素値に対して前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算する
処理を画像処理装置のコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項６】
異なる露出感度で撮影された複数の画像データを用いて、前記画像データよりも広いダイナミックレンジを有する広ダイナミックレンジ画像データを生成する画像処理装置の制御用のプログラムであって、
基準となる露出感度で撮影された基準画像データと、前記基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力ステップと、
前記基準画像データの画素の画素値に対して、前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する前記広ダイナミックレンジ画像データを生成する生成ステップと
を含み、
前記入力ステップは、振幅特性を示す露出感度情報が付加された前記複数の２ｎ倍画像データを順次入力し、
前記生成ステップは、順次入力される前記２ｎ倍画像データの露出感度情報に基づき、前記２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、前記基準画像データの画素の画素値に対して前記２ｎ倍画像データの対応する画素の画素値を２で除算して加算する
処理を画像処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、異なる露出感度で撮影した複数の画像データを合成して、広ダイナミックレンジの画像データを生成する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
CCD(Charge Coupled Device)などの個体撮像素子を備えるディジタルスチルカメラによって生成された画像データは、フィルムを用いる従来のカメラによって撮影された写真に比較して、ダイナミックレンジが狭いという問題がある。
【０００３】
そのような問題を解決する方法として、例えば、特開昭６１−２１９２７０号公報には、同一の被写体を異なる露出感度で複数回撮影し、得られる複数の画像データを加算して正規化する方法（以下、第１の従来方法と記述する）が開示されている。
【０００４】
第１の従来方法について、４種類の異なる露出で撮影した画像データを用いる場合を一例とし、図１乃至図３を参照して説明する。
【０００５】
図１は、４種類の異なる露出感度で撮影される画像データの振幅特性（入射光の強度と、それに対応して出力される画素値の特性）を示している。例えば、振幅特性Ｌ1の露出感度を基準とした場合、振幅特性Ｌ2を有する画像データは、振幅特性Ｌ1の露出感度の２倍の露出感度で撮影されたものであり、振幅特性Ｌ3を有する画像データは、振幅特性Ｌ2の２倍（振幅特性Ｌ1の４倍）の露出感度で撮影されたものであり、振幅特性Ｌ4を有する画像データは、振幅特性Ｌ3の２倍（振幅特性Ｌ1の８倍）の露出感度で撮影されたものであることを示している。
【０００６】
第１の従来方法では、図１に示したような４種類の異なる振幅特性Ｌ1乃至Ｌ4の画像データが生成され、４枚の画像データの各画素値が加算されて、図２に示すような折れ線状の振幅特性のダイナミックレンジが拡大された１枚の画像データ（以下、合成画像データと記述する）が生成される。ただし、合成画像データの出力（合成画像データの画素値）の最大値は元の画像データの４倍の値となっているので、次に、合成画像データの画素の最大値を、元の画像データに一致させるために正規化する。正規化された合成画像データの振幅特性は、図３に示すように折れ線状が維持されたまま、出力（画素値）の最大値が元の画像データと同一となる。
【０００７】
【発明が解決しようとする課題】
ところで、人間の感覚量は、図４に示すように、刺激強度の対数に比例すること、すなわち、刺激強度をＲ、感覚量をＥとした場合、次式の関係が成立することがウェーバ・フェヒナの法則として知られている。
Ｅ＝Ｋ・ｌｏｇ（Ｒ）
ここで、Ｋは所定の定数である。
【０００８】
したがって、人間の視覚特性を考慮すれば、得られる画像データの振幅特性は、出力が入力の対数に比例していることが望ましい。
【０００９】
しかしながら、上述した第１の従来方法では、単に、複数の画像データが加算されて正規化されているに過ぎず、ダイナミックレンジを広げた画像データが生成される過程において、人間の視覚特性が考慮されていない課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、振幅特性が異なる複数の画像データを用いて、元の画像データよりも広いダイナミックレンジを有し、かつ、人間の視覚特性が考慮された振幅特性を有する画像データを生成できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、基準となる露出感度で撮影された基準画像データと、基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力手段と、基準画像データの画素の画素値に対して、２ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成する生成手段とを含み、入力手段は、振幅特性を示す露出感度情報が付加された複数の２ｎ倍画像データを順次入力し、生成手段は、順次入力される２ｎ倍画像データの露出感度情報に基づき、２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、基準画像データの画素の画素値に対して２ｎ倍画像データの対応する画素の画素値を２で除算して加算する。
【００１２】
前記生成手段には、人の視覚特性を示すLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成させるようにすることができる。
【００１５】
本発明の画像処理装置は、生成手段が生成した広ダイナミックレンジ画像データに所定の画像加工処理を施す画像加工手段をさらに含むことができる。
【００１６】
前記画像加工手段には、広ダイナミックレンジ画像データにデモザイク処理を施してフルカラー広ダイナミックレンジ画像データを生成させるようにすることができる。
【００１７】
本発明の画像処理方法は、基準となる露出感度で撮影された基準画像データと、基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力ステップと、基準画像データの画素の画素値に対して、ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成する生成ステップとを含み、入力ステップは、振幅特性を示す露出感度情報が付加された複数の２ｎ倍画像データを順次入力し、生成ステップは、順次入力される２ｎ倍画像データの露出感度情報に基づき、２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、基準画像データの画素の画素値に対して２ｎ倍画像データの対応する画素の画素値を２で除算して加算する。
【００１８】
本発明の記録媒体は、基準となる露出感度で撮影された基準画像データと、基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力ステップと、基準画像データの画素の画素値に対して、２ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成する生成ステップとを含み、入力ステップは、振幅特性を示す露出感度情報が付加された複数の２ｎ倍画像データを順次入力し、生成ステップは、順次入力される２ｎ倍画像データの露出感度情報に基づき、２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、基準画像データの画素の画素値に対して２ｎ倍画像データの対応する画素の画素値を２で除算して加算する処理を画像処理装置のコンピュータに実行させるプログラムが記録されている。
【００１９】
本発明のプログラムは、基準となる露出感度で撮影された基準画像データと、基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データを順次入力する入力ステップと、基準画像データの画素の画素値に対して、２ｎ倍画像データの対応する画素の画素値を２で除算して加算することにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成する生成ステップとを含み、入力ステップは、振幅特性を示す露出感度情報が付加された複数の２ｎ倍画像データを順次入力し、生成ステップは、順次入力される２ｎ倍画像データの露出感度情報に基づき、２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、基準画像データの画素の画素値に対して２ｎ倍画像データの対応する画素の画素値を２で除算して加算する処理を画像処理装置のコンピュータに実行させる。
【００２０】
本発明においては、基準となる露出感度で撮影された基準画像データと、基準となる露出感度の２ｎ（ｎ＝１，２，・・・）倍の露出感度で撮影された複数の２ｎ倍画像データが順次入力され、基準画像データの画素の画素値に対して、２ｎ倍画像データの対応する画素の画素値が２で除算されて加算されることにより、人の視覚特性を示すLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データが生成される。なお、入力の処理では、振幅特性を示す露出感度情報が付加された複数の２ｎ倍画像データが順次入力され、生成の処理では、順次入力される２ｎ倍画像データの露出感度情報に基づき、２ｎ倍画像データの振幅特性が基準となる振幅特性とは異なる場合のみ、基準画像データの画素の画素値に対して２ｎ倍画像データの対応する画素の画素値が２で除算されて加算される。
【００２１】
【発明の実施の形態】
本発明を適用した画像処理装置の構成例について、図５を参照して説明する。
この画像処理装置は、同一の被写体を異なる露出感度で複数回撮影し、得られた振幅特性が異なる複数の画像データ（以下、狭ダイナミックレンジ画像データと記述する）を用いて、元の画像データよりも広いダイナミックレンジを有する画像データ（以下、広ダイナミックレンジ画像データと記述する）を生成するものである。
【００２２】
当該画像処理装置は、主に、装置の全体を制御する制御部１、複数の狭ダイナミックレンジ画像データを演算部８に供給する画像入力部７、供給される複数の狭ダイナミックレンジ画像データを用いて広ダイナミックレンジ画像データを生成する演算部８、広ダイナミックレンジ画像データに所定の画像処理を施す画像処理部９、および所定の画像処理が施された画像データを後段の電子機器に供給する画像出力部１０より構成される。
【００２３】
制御部１は、ドライブ２を制御して、磁気ディスク３、光ディスク４、光磁気ディスク５、または半導体メモリ６に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムに基づいて画像処理装置の全体を制御する。
【００２４】
画像入力部７は、振幅特性が異なる複数の狭ダイナミックレンジ画像データを演算部８に供給する。なお、演算部８に供給される狭ダイナミックレンジ画像データは、ディジタルスチルカメラ、スキャナ等から取得するものであり、それらの振幅特性Ｌ1，Ｌ2，Ｌ3，Ｌ4，・・・は、図１に示した振幅特性と同様、基準となる振幅特性Ｌ1の露出感度を基準とした場合、振幅特性Ｌ2，Ｌ3，Ｌ4は、それぞれ、振幅特性Ｌ1の露出感度の２，４，８，・・・，２n倍の露出感度で撮影されたものであるとする。狭ダイナミックレンジ画像データには、その振幅特性を示す露出感度情報が付加されているものとする。
【００２５】
また、複数の狭ダイナミックレンジ画像データは、各画素が必ずしも全ての色成分（Ｒ，Ｇ，Ｂ成分）を有していなくてもよい。すなわち、Ｒ，Ｇ，Ｂ成分のうちの１つの色成分だけを有する画素が、所定の配列（例えば、ベイヤ配列）を成していればよい。以下、画像データを構成する各画素が、Ｒ，Ｇ，Ｂ成分のうちの１つの色成分だけを有している状態を色モザイクと記述する。ただし、複数の狭ダイナミックレンジ画像データが色モザイクである場合、同一の座標に位置する画素が有する色成分は同一であるとする。
【００２６】
演算部８は、画像入力部７から順次供給される狭ダイナミックレンジ画像データの画素値を、所定の値で除算した後に加算して広ダイナミックレンジ画像データを生成する。
【００２７】
画像処理部９は、演算部８で生成された広ダイナミックレンジ画像データが色モザイクである場合、各画素の全ての色成分を、近傍の画素の色成分を用いて補間し（デモザイク処理を施し）、得られる各画素が全ての色成分を有する広ダイナミックレンジ画像データ（以下、フルカラー広ダイナミックレンジ画像データと記述する）を画像出力部１０に供給する。また、画像処理部９は、演算部８で生成された広ダイナミックレンジ画像データが色モザイクではない場合、そのまま、デモザイク処理を施さずに画像出力部１０に供給する。
【００２８】
画像出力部１０は、画像処理部１０から供給されるフルカラー広ダイナミックレンジ画像データを、後段のディスプレイ、プリンタ、記録装置等に供給する。
【００２９】
図６は、演算部８の詳細な構成例を示している。ビットシフト部２１は、画像入力部７から供給される狭ダイナミックレンジ画像データのうち、基準となる振幅特性を有する狭ダイナミックレンジ画像データ以外の狭ダイナミックレンジ画像データの画素値（２進数で表現されるデータ）を１ビット数だけ右にシフトして、すなわち、画素値を２で除算して加算器２２に出力する。
【００３０】
加算器２２は、画像保持メモリ２３が保持する画像データの各画素値に、ビットシフト部２１から入力される狭ダイナミックレンジ画像データの対応する画素値を加算して画像保持メモリ２３に上書きして保持させる。
【００３１】
画像保持メモリ２３は、保持している画像データを加算器２２に供給するとともに、加算器２２から入力される画像データを、保持している画像データに上書きして保持する。
【００３２】
ビットシフト部２１および加算器２２の処理が、複数の狭ダイナミックレンジ画像データの数だけ繰り返されることにより、最終的に、画像保持メモリ２３には、Log曲線に近似した振幅特性を有する広ダイナミックレンジ画像データが保持されることになる。
【００３３】
画像保持メモリ２３はまた、画像処理部９からの要求に対応して、最終的に保持している広ダイナミックレンジ画像データを画像処理部９に供給する。
【００３４】
次に、当該画像処理装置による広ダイナミックレンジ画像データ生成処理について、図７のフローチャートを参照して説明する。なお、画像入力部７には、ディジタルスチルカメラ等によって撮影された振幅特性が異なる複数の狭ダイナミックレンジ画像データが供給されているものとする。複数の狭ダイナミックレンジ画像データの振幅特性を、それぞれ、振幅特性Ｌ1，Ｌ2，Ｌ3，Ｌ4，・・・とする。また、演算部８の画像保持メモリ２３は、初期化されているものとする。
【００３５】
ステップＳ１において、画像入力部７は、自己が保持する全ての狭ダイナミックレンジ画像データを演算部８に供給したか否かを判定する。全ての狭ダイナミックレンジ画像データを演算部８に供給していないと判定された場合、処理はステップＳ２に進む。
【００３６】
ステップＳ２において、画像入力部７は、自己が保持する全ての狭ダイナミックレンジ画像データのうち、演算部８に未供給の狭ダイナミックレンジ画像データを１枚だけ演算部８に供給する。
【００３７】
ステップＳ３において、演算部８のビットシフト部２１は、画像入力部７から供給された狭ダイナミックレンジ画像データに付加されている露出感度情報を取得する。ステップＳ４において、ビットシフト部２１は、ステップＳ３で取得した露出感度情報に基づき、ステップＳ２で供給された狭ダイナミックレンジ画像データの振幅特性が基準となる振幅特性Ｌ1ではない場合だけ、各画素値を１ビットだけ右にシフトすることによって２で除算し、加算器２２に出力する。したがって、ステップＳ２で振幅特性Ｌ1の狭ダイナミックレンジ画像データが供給された場合、画素値のビットシフトは行われずにそのまま加算器２２に出力される。
【００３８】
ステップＳ５において、加算器２２は、画像保持メモリ２３が保持する画像データを読み出し、ビットシフト部２１から入力された狭ダイナミックレンジ画像データの対応する画素同士を加算して画像保持メモリ２３に上書きして保持させる。
【００３９】
処理はステップＳ１に戻り、全ての狭ダイナミックレンジ画像データを演算部８に供給したと判定されるまで、ステップＳ１乃至ステップＳ５の処理が繰り返される。ステップＳ１において、全ての狭ダイナミックレンジ画像データを演算部８に供給したと判定された場合、処理はステップＳ６に進む。
【００４０】
このとき、画像保持メモリ２３には、振幅特性Ｌ1の狭ダイナミックレンジ画像データと、各画素値が２で除算されている振幅特性Ｌ2，Ｌ3，Ｌ4，・・・の狭ダイナミックレンジ画像データが加算されて生成された、Log曲線に近似した振幅特性を有する広ダイナミックレンジ画像データが保持されている。以下、Log曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成する演算部８の処理を、重み付き加算処理とも記述する。
【００４１】
ここで、最終的に画像保持メモリ２３に保持された画像データが、Log曲線に近似した振幅特性を有する広ダイナミックレンジ画像データとなることを図８に示す。同図において、横軸は入射光の強度であり、縦軸は画素値（振幅）である。実線は、人の視覚特性であるLog曲線を示している。
【００４２】
△によって示される曲線は、演算部８により、振幅特性Ｌ1の狭ダイナミックレンジ画像データと、各画素値が２で除算されている振幅特性Ｌ2，Ｌ3，Ｌ4の狭ダイナミックレンジ画像データが加算されて生成された広ダイナミックレンジ画像データの振幅特性を示している。
【００４３】
□によって示される曲線は、振幅特性Ｌ1，Ｌ2，Ｌ3，Ｌ4の狭ダイナミックレンジ画像データが加算されて生成された広ダイナミックレンジ画像データの振幅特性を示しており、上述した第１の従来方法による広ダイナミックレンジ画像データの振幅特性の相当する。
【００４４】
同図から明らかなように、△によって示される曲線は、□によって示される曲線より、Log曲線に近似していることがわかる。なお、△によって示される曲線は、異なる振幅特性を有する４種類の狭ダイナミックレンジ画像データを用いた結果であるが、より多くの種類の異なる振幅特性を有する狭ダイナミックレンジ像データを用いれば、その振幅特性を示す曲線は、入力が０付近において、さらにLog曲線に近似したものとなる。
【００４５】
図７に戻る。ステップＳ６において、画像処理部９は、画像保持メモリ２３に保持されている広ダイナミックレンジ画像データを取得し、広ダイナミックレンジ画像データが色モザイクである場合、デモザイク処理を施してフルカラー広ダイナミックレンジ画像データを生成し、画像出力部１０に供給する（なお、デモザイク処理の詳細については、図１２および図１３を参照して後述する）。なお、演算部８で生成された広ダイナミックレンジ画像データが色モザイクではない場合、デモザイク処理は施されずにそのまま画像出力部１０に供給される。
【００４６】
以上説明したように、当該画像処理装置の広ダイナミックレンジ画像データ生成処理によれば、人間の視覚特性であるLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成することができる。
【００４７】
なお、当該画像処理装置から画像処理部９を削除し、ステップＳ６の処理を省略するようにしてもよい。
【００４８】
次に、本発明を適用したディジタルカメラの構成例について、図９を参照して説明する。当該ディジタルカメラは、異なる露出感度で連続的に複数回撮影することによって、振幅特性が異なる複数の狭ダイナミックレンジ画像データを取得し、それらを用いて広ダイナミックレンジ画像データを生成するものである。
【００４９】
当該ディジタルカメラの光学系は、被写体の光学像を集光するレンズ４１、入射光の光量を調整する絞り４２、入射光の露光時間を調整するシャッタ４３、CCD４６が強い感度を有する赤外領域の光を除去するＩＲカットフィルタ４４、およびCCD４６が離散的にサンプリングすることによって発生する折り返しを抑止するために入射光の高周波成分を除去する光学ローパスフィルタ４５から構成される。なお、レンズ４１に赤外領域除去用のコーティングを施すことにより、ＩＲカットフィルタ４４を省略してもよい。
【００５０】
また、ディジタルカメラは、CCD４６の水平走査タイミングおよび垂直走査タイミングを発生するタイミングジェネレータ（ＴＧ）４７、光電変換機能、電荷検出機能、電荷蓄積機能、および電荷転送機能を有し、入射光に対応して各画素がＲ，Ｇ，Ｂ成分のいずれかの色成分を有する色モザイクの狭ダイナミックレンジ画像データを生成してバッファ４８に出力するCCD４６、および、振幅特性が異なる複数の色モザイクの狭ダイナミックレンジ画像データをバッファリングするバッファ４８から構成される。
【００５１】
さらに、ディジタルカメラは、バッファリングされている狭ダイナミックレンジ画像データをサンプリングすることによってノイズを低減させるCDS(Correlated Double Sampling)４９、入射光の光度に適応して狭ダイナミックレンジ画像データを電気的に増幅するAGC(Auto Gain Controller)５０、狭ダイナミックレンジ画像データをディジタル信号化するＡ／Ｄコンバータ５１、複数の色モザイクの狭ダイナミックレンジ画像データを用いてフルカラー広ダイナミックレンジ画像データを生成するDSP(Digital Signal Processor)等より成る画像処理部５２、並びに広ダイナミックレンジ画像データをプリンタ、ディスプレイ、メモリ等に出力する出力部５３から構成される。
【００５２】
さらに、ディジタルカメラは、ドライブ５５を制御して、磁気ディスク５６、光ディスク５７、光磁気ディスク５８、または半導体メモリ５９に記憶されている制御用プログラムを読み出して、読み出した制御用プログラム、操作入力部６０から入力されるユーザからのコマンド等に基づいて、ディジタルカメラの全体を制御する制御部５４から構成される。
【００５３】
図１０は、画像処理部５２の詳細な構成例を示している。画像処理部５２は、前段から順次入力される色モザイクの狭ダイナミックレンジ画像データの画素値を、所定の値で除算した後に加算して、Log曲線に近似した振幅特性を有する色モザイクの広ダイナミックレンジ画像データを生成する演算部６１、色モザイクの広ダイナミックレンジ画像データをフルカラー広ダイナミックレンジ画像データに変換するデモザイク処理部６２、フルカラー広ダイナミックレンジ画像データの出力先を切り替えるスイッチ６３、および、フルカラー広ダイナミックレンジ画像データにLog逆変換を施すLog逆変換部６４から構成される。
【００５４】
ここで、Log逆変換とは、フルカラー広ダイナミックレンジ画像データの各画素値を、Log曲線に近似させた曲線（図８の△を用いて示した曲線）の逆関数を用いて変換することにより、フルカラー広ダイナミックレンジ画像データの振幅特性を線形に変換する処理を指す。
【００５５】
なお、演算部６１は、図６の示した演算部８の構成例と同様に構成されており、同様の動作を実行する。
【００５６】
次に、当該ディジタルカメラのフルカラー広ダイナミックレンジ画像データ生成処理について、図１１のフローチャートを参照して説明する。なお、画像処理部５２の演算部６１によって実行されるステップＳ１１乃至ステップＳ１５の処理は、上述した図７のステップＳ１乃至ステップＳ５の処理と同様であるので、その説明は省略する。
【００５７】
ステップＳ１６において、画像処理部５２のデモザイク処理部６２は、演算部６１が生成した色モザイクの広ダイナミックレンジ画像データにデモザイク処理を施すことにより、フルカラー広ダイナミックレンジ画像データを生成してスイッチ６３に出力する。
【００５８】
デモザイク処理の詳細について、図１２および図１３を参照して説明する。図１２に、広ダイナミックレンジ画像データの色モザイクの一例であるベイヤ配列を示す。同図において、Ｒ，Ｇ，Ｂは画素が有する色成分を示し、下付の数字は画素の位置を示している。以下、図１２に示すような色モザイクの広ダイナミックレンジ画像データにデモザイク処理を施す場合を例として説明する。
【００５９】
ステップＳ２１において、デモザイク処理部６２は、全ての画素のうち、Ｇ成分を有していない画素のＧ成分を、当該画素の上下左右に隣接するＧ成分を有する４画素を用いて補間する。例えば、画素Ｂ7のＧ成分Ｇ’7は、次式（１）に示すように、画素Ｇ3，Ｇ11，Ｇ6，Ｇ8を用いて補間する。
Ｇ’7＝（Ｇ3＋Ｇ11＋Ｇ6＋Ｇ8）／４                  ・・・（１）
【００６０】
ステップＳ２１の処理によって、全ての画素がＧ成分を有する状態となった後、処理はステップＳ２２に進む。
【００６１】
ステップＳ２２において、デモザイク処理部６２は、Ｒ成分、Ｇ成分、およびＢ成分のうちのいずれかを有していない画素が存在するか否かを判定する。Ｒ成分、Ｇ成分、およびＢ成分のうちのいずれかを有していない画素が存在すると判定された場合、処理はステップＳ２３に進む。
【００６２】
ステップＳ２３において、デモザイク処理部６２は、Ｒ成分、Ｇ成分、およびＢ成分のうちのいずれかを有していない画素のうち、１つの画素を注目画素に決定する。ステップＳ２４において、デモザイク処理部６２は、注目画素が有していない色成分を判定する。注目画素がＢ成分を有していないと判定した場合、処理はステップＳ２５に進む。
【００６３】
ステップＳ２５において、デモザイク処理部６２は、注目画素に隣接するＢ成分を有する画素のＢ成分とＧ成分の比（以下、ＢＧ比と記述する）の平均値を演算し、ＢＧ比の平均値に注目画素のＧ成分を乗算してＢ成分を補間する。処理はステップＳ２２に戻る。
【００６４】
例えば、画素Ｒ10のＢ成分Ｂ’10を補間する場合、次式（２）に示すように、隣接するＢ成分を有する画素Ｂ5，Ｂ7，Ｂ13，Ｂ15のＢＧ比の平均値（Ｂ／Ｇ）10を演算し、次式（３）に示すように、平均値（Ｂ／Ｇ）10にステップＳ２１の処理で補間した画素Ｒ10のＧ成分Ｇ’10を乗算して、Ｂ成分Ｂ’10を算出する。
（Ｂ／Ｇ）10
＝（Ｂ5／Ｇ’5＋Ｂ7／Ｇ’7＋Ｂ13／Ｇ’13＋Ｂ15／Ｇ’15）／４
・・・（２）
Ｂ’10＝Ｇ’10・（Ｂ／Ｇ）10                            ・・・（３）
【００６５】
ステップＳ２４において、注目画素がＲ成分を有していないと判定した場合、処理はステップＳ２６に進む。
【００６６】
ステップＳ２６において、デモザイク処理部６２は、注目画素に隣接するＲ成分を有する画素のＲ成分とＧ成分の比（以下、ＲＧ比と記述する）の平均値を演算し、ＲＧ比の平均値に注目画素のＲ成分を乗算してＢ成分を補間する。処理はステップＳ２２に戻る。
【００６７】
例えば、画素Ｂ7のＲ成分Ｒ’7を補間する場合、次式（４）に示すように、隣接するＲ成分を有する画素Ｒ2，Ｒ4，Ｒ10，Ｒ12のＲＧ比の平均値（Ｒ／Ｇ）7を演算し、次式（５）に示すように、平均値（Ｒ／Ｇ）7にステップＳ２１の処理で補間した画素Ｂ7のＧ成分Ｇ’7を乗算して、Ｒ成分Ｒ’7を算出する。
（Ｒ／Ｇ）7
＝（Ｒ2／Ｇ’2＋Ｒ4／Ｇ’4＋Ｒ10／Ｇ’10＋Ｒ12／Ｇ’12）／４
・・・（４）
Ｒ’7＝Ｇ’7・（Ｒ／Ｇ）7                                ・・・（５）
【００６８】
ステップＳ２２において、Ｒ成分、Ｇ成分、およびＢ成分のうちのいずれかを有していない画素が存在しない、すなわち、全ての画素が、Ｒ成分、Ｇ成分、およびＢ成分を有していると判定された場合、デモザイク処理は終了される。
【００６９】
図１１に戻り、ステップＳ１７において、画像処理部５２を制御する制御部５４は、ユーザによる設定に基づき、生成されたフルカラー広ダイナミックレンジ画像データのLog曲線に近似されている振幅特性を線形に変換するか否かを判定する。フルカラー広ダイナミックレンジ画像データの振幅特性を線形に変換すると判定された場合、処理はステップＳ１８に進む。
【００７０】
ステップＳ１８において、スイッチ６３は、制御部５４からの制御に従い、デモザイク処理部６２からのフルカラー広ダイナミックレンジ画像データをLog逆変換部６４に出力する。Log逆変換部６４は、フルカラー広ダイナミックレンジ画像データの各画素値をLog逆変換し、フルカラー広ダイナミックレンジ画像データの振幅特性を線形に変換する。
【００７１】
なお、ステップＳ１７において、フルカラー広ダイナミックレンジ画像データの振幅特性を線形に変換しないと判定された場合、ステップＳ１８はスキップされる。
【００７２】
以上説明したように、本発明を適用したディジタルカメラのフルカラー広ダイナミックレンジ画像データ生成処理によれば、Log曲線に近似した振幅特性、または線形の振幅特性を有するフルカラー広ダイナミックレンジ画像データを生成することができる。
【００７３】
ところで、本発明を適用した画像処理装置の演算部８やディジタルカメラの演算部６１の重み付き加算処理によって生成される広ダイナミックレンジ画像データの振幅特性がLog曲線に近似した曲線であること、すなわち、各画素が入射光強度の対数値となっていることに起因して、その後に実行されるデモザイク処理において計算コストを削減することが可能となる。
【００７４】
例えば、ステップＳ２６において、ＲＧ比の平均値（Ｒ／Ｇ）7を演算する式（４）には除算が多用されているが、画素の色成分は対数値となっているので、式（４）の代わりに、除算に比較して計算コストが低い減算を多用する次式（６）を用いることができる。
（Ｒ／Ｇ）7
≒（Ｒ2−Ｇ’2＋Ｒ4−Ｇ’4＋Ｒ10−Ｇ’10＋Ｒ12−Ｇ’12）／４
・・・（６）
【００７５】
また、Ｒ成分Ｒ’7を演算する式（５）には乗算が用いられているが、画素の色成分は対数値となっているので、式（５）の代わりに、乗算に比較して計算コストが低い加算を用いる次式（７）を用いることができる。
Ｒ’7≒Ｇ’7＋（Ｒ／Ｇ）7                                ・・・（７）
【００７６】
ここで、線形な振幅特性を有する色モザイクの画像データから線形な振幅特性を有するフルカラー画像データを生成する３種類の方法について、図１４を参照して考察する。
【００７７】
同図（Ａ）に示す方法では、線形の振幅特性を有する色モザイクの画像データに、乗除演算を多用するデモザイクが実行されて、線形の振幅特性を有するフルカラー画像データが生成される。同図（Ｂ）に示す方法では、線形の振幅特性を有する色モザイクの画像データの画素がLog変換された後、加減演算を用いるデモザイクが実行されて、さらに逆Log変換が施されて線形の振幅特性を有するフルカラー画像データが生成される。同図（Ｃ）に示す方法では、Log曲線に近似した振幅特性を有する色モザイクの画像データに加減演算を用いるデモザイクが実行されて、さらに逆Log変換が施されて線形の振幅特性を有するフルカラー画像データが生成される。
【００７８】
上述した３つ方法を比較して明らかなように、線形な振幅特性を有するフルカラー画像データを生成するための方法としては、本発明に対応する同図（Ｃ）に示す方法は、同図（Ａ），（Ｂ）に示す方法と比較して計算コストが低いことがわかる。
【００７９】
次に、線形な振幅特性を有する色モザイクの画像データからLog曲線に近似した振幅特性を有するフルカラー画像データを生成する３種類の方法について図１５を参照して考察する。
【００８０】
同図（Ａ）に示す方法では、線形の振幅特性を有する色モザイクの画像データに、乗除演算を多用するデモザイクが実行されて、さらにLog変換が施されて、Log曲線に近似した振幅特性を有するフルカラー画像データが生成される。同図（Ｂ）に示す方法では、線形の振幅特性を有する色モザイクの画像データの画素がLog変換された後、加減演算を用いるデモザイクが実行されて、Log曲線に近似した振幅特性を有するフルカラー画像データが生成される。同図（Ｃ）に示す方法では、Log曲線に近似した振幅特性を有する色モザイクの画像データに加減演算を用いるデモザイクが実行されて、Log曲線に近似した振幅特性を有するフルカラー画像データが生成される。
【００８１】
上述した３つ方法を比較して明らかなように、Log曲線に近似した振幅特性を有するフルカラー画像データを生成するための方法としては、本発明に対応する同図（Ｃ）に示す方法は、同図（Ａ），（Ｂ）に示す方法と比較して計算コストが低いことがわかる。
【００８２】
以上説明したように、本発明の重み付き加算処理によってLog曲線に近似した振幅特性を有する広ダイナミックレンジ画像データを生成した場合、その画素は既に対数値となっているので、後段のデモザイク処理におけるデータの乗算、除算、累乗を、それぞれ、加算、減算、乗算に置き換えることができるので、計算コストを削減が可能である。
【００８３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８４】
この記録媒体は、図５に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３（フロッピディスクを含む）、光ディスク４（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク５（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ６などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【００８５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８６】
【発明の効果】
以上のように、本発明によれば、元の画像データよりも広いダイナミックレンジを有し、かつ、人間の視覚特性が考慮された振幅特性を有する画像データを生成することが可能となる。
【図面の簡単な説明】
【図１】第１の従来方法を説明するための図である。
【図２】第１の従来方法を説明するための図である。
【図３】第１の従来方法を説明するための図である。
【図４】ウェーバ・フェヒナの法則を説明するための図である。
【図５】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図６】演算部８の構成例を示すブロック図である。
【図７】広ダイナミックレンジ画像データ生成処理を説明するフローチャートである。
【図８】広ダイナミックレンジ画像データ生成処理によって生成された画像データの振幅特性がLog曲線に近似することを説明するための図である。
【図９】本発明を適用したディジタルカメラの構成例を示すブロック図である。
【図１０】画像処理部５２の詳細な構成例を示すブロック図である。
【図１１】フルカラー広ダイナミックレンジ画像データ生成処理を説明するフローチャートである。
【図１２】広ダイナミックレンジ画像データの色モザイクの一例を示す図である。
【図１３】デモザイク処理を説明するフローチャートである。
【図１４】線形な振幅特性を有する色モザイクの画像データから線形な振幅特性を有するフルカラー画像データを生成する３種類の方法を比較するための図である。
【図１５】線形な振幅特性を有する色モザイクの画像データからLog曲線に近似した振幅特性を有するフルカラー画像データを生成する３種類の方法を比較するための図である。
【符号の説明】
１  制御部，  ２  ドライブ，  ３  磁気ディスク，  ４  光ディスク，  ５光磁気ディスク，  ６  半導体メモリ，  ７  画像入力部，  ８  演算部，  ９  画像処理部，  １０  画像出力部，  ２１  ビットシフト部，  ２２  加算器，  ２３  画像保持メモリ，  ５２  画像処理部，  ５４  制御部，  ６１  演算部，  ６２  デモザイク処理部，  ６３  スイッチ，  ６４  Log逆変換部
【図１】
0004573080.tif 000002
【図２】
0004573080.tif 000003
【図３】
0004573080.tif 000004
【図４】
0004573080.tif 000005
【図５】
0004573080.tif 000006
【図６】
0004573080.tif 000007
【図７】
0004573080.tif 000008
【図８】
0004573080.tif 000009
【図９】
0004573080.tif 000010
【図１０】
0004573080.tif 000011
【図１１】
0004573080.tif 000012
【図１２】
0004573080.tif 000013
【図１３】
0004573080.tif 000014
【図１４】
0004573080.tif 000015
【図１５】
0004573080.tif 000016