(57)【要約】【課題】本発明は、ヒストグラムの度数に偏りがある場合でも、ヒストグラムイコライゼーション法を用いてダイナミックレンジをより適切に圧縮し得る画像処理装置、画像処理方法および撮像装置を提供する。【解決手段】本発明の画像処理装置では、入力画像における各画素の画素値のヒストグラムが生成され、この生成したヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値がそれぞれ生成され、この生成された各階級のオフセット値が前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算され、このオフセット値加算後のヒストグラムに基づいて、入力画像の圧縮特性が生成され、この圧縮特性を用いることによって、入力画像よりもダイナミックレンジの小さい圧縮画像が生成される。【選択図】図１
2014096752.tif 000002
【特許請求の範囲】
【請求項１】
入力画像における各画素の画素値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部で生成したヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算するオフセット処理部と、
前記オフセット処理部で生成したオフセット値加算後のヒストグラムに基づいて、前記入力画像を圧縮するための圧縮特性を生成する圧縮特性生成部と、
前記圧縮特性生成部で生成した圧縮特性を用いることによって、前記入力画像よりもダイナミックレンジの小さい圧縮画像を生成する圧縮画像生成部とを備えること
を特徴とする画像処理装置。
【請求項２】
前記ヒストグラム生成部で生成したヒストグラムにおいて度数を持つ最大の階級よりも大きな階級に所定の度数を与えることによって、前記ヒストグラム生成部で生成したヒストグラムを階級方向に拡大する拡大処理部をさらに備え、
前記オフセット処理部は、前記拡大処理部で拡大されたヒストグラムにおいて度数を持つ最小の階級から前記所定の度数を与えられた最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ヒストグラム生成部で生成したヒストグラムに対し、度数を所定の制限値に制限するクリップ処理部をさらに備え、
前記オフセット処理部は、前記クリップ処理部で処理されたヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算すること
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記拡大処理部で拡大されたヒストグラムに対し、度数を所定の制限値に制限するクリップ処理部をさらに備え、
前記オフセット処理部は、前記クリップ処理部で処理されたヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算すること
を特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記所定の制限値は、階級ごとに異なること
を特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記オフセット処理部に、前記階級の増大に従って単調に増加する各階級のオフセット値を複数のパターンでそれぞれ生成させる複数パターン生成処理部をさらに備えること
を特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像における各画素の画素値のヒストグラムを生成するヒストグラム生成工程と、
前記ヒストグラム生成工程で生成したヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算するオフセット処理工程と、
前記オフセット処理工程で生成したオフセット値加算後のヒストグラムに基づいて、前記入力画像を圧縮するための圧縮特性を生成する圧縮特性生成工程と、
前記圧縮特性生成工程で生成した圧縮特性を用いることによって、前記入力画像よりもダイナミックレンジの小さい圧縮画像を生成する圧縮画像生成工程とを備えること
を特徴とする画像処理方法。
【請求項８】
被写体光像を光電変換して画像信号を生成する撮像部と、
前記撮像部で生成された画像信号に所定の画像処理を施して画像を生成する画像処理部とを備え、
前記画像処理部は、請求項１ないし請求項６のいずれか１項に記載の画像処理装置を備えること
を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒストグラムイコライゼーション法を用いて画像のダイナミックレンジを圧縮するための画像処理装置および画像処理方法ならびにこれを用いた撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラ等に適用される撮像装置では、その高画質化の要請に伴って被写体の輝度範囲（最低輝度と最高輝度との差、画像では最低濃度と最高濃度との差）、すなわち、ダイナミックレンジ（ＤＲ）を拡大させることが１つのテーマとなっている。このダイナミックレンジを拡大する技術として、例えばいわゆるリニアログセンサ等の様々な技術が研究、開発されている。
【０００３】
この撮像装置におけるダイナミックレンジの拡大化が進展する一方で、現状では画像を伝送、蓄積または表示する装置におけるダイナミックレンジ（画素レベルを表現するビット数）は、撮像装置におけるダイナミックレンジに対して相対的に狭い場合がある。このような場合、撮像装置におけるダイナミックレンジが拡大化しても、得られた情報を全て取り扱うことが難しくなる。このため、広ダイナミックレンジの画像をそれよりも狭いダイナミックレンジの画像へ変換するダイナミックレンジ圧縮技術も研究、開発されている。
【０００４】
このダイナミックレンジ圧縮技術として、例えば、特許文献１や特許文献２に開示されているように、周波数処理を行う第１の方法と、ヒストグラムイコライゼーションを行う第２の方法が知られている。この第１の方法では、まず、圧縮対象の画像が高周波数成分と低周波数成分とに分けられ、次に、前記低周波数成分が圧縮され、そして、この圧縮された低周波数成分に前記高周波数成分が加えられる。これによって前記画像のダイナミックレンジが圧縮される。また、第２の方法では、まず、圧縮対象の画像におけるヒストグラム（度数分布）が求められ、次に、前記画像のヒストグラムから累積度数分布が求められ、次に、累積度数分布の縦軸が圧縮後の画素のとり得る値の範囲に正規化され、そして、この正規化された累積度数分布を圧縮変換特性として前記画像の各画素値が変換される。これによって前記画像のダイナミックレンジが圧縮される。
【０００５】
一方、ヒストグラムイコライゼーションは、画像のコントラストを適正化する手法としても知られており、例えば、特許文献３ないし特許文献５に開示されている。この特許文献３に開示の画像のコントラスト処理装置は、対象とする画像のヒストグラムを作成する手段と、該ヒストグラムを画素数方向に圧縮する手段と、圧縮前後のヒストグラムの積分値の差を算出する手段と、この算出されて得た値の平均値を、圧縮後のヒストグラムの各階調に一律にバイアスとして与えた新たなヒストグラムを作成する手段と、この新たなヒストグラムに基づいて、上記対象とするものとの画像についてヒストグラムイコライゼーションのための階調変換を行う手段とを備えている。
【０００６】
また、特許文献４に開示のＸ線画像処理装置は、画像データ供給手段から受けた処理対象画像データに対してウィンドウにより階調変換を行うウィンドウ処理手段を備えたＸ線画像処理装置であって、前記処理対象画像データのヒストグラムからＸ線絞りおよびハレーションの階調域を抽出し、このＸ線絞りおよびハレーションの階調域以外の被写体の階調域に対してのみのヒストグラムを作成し、この作成したヒストグラムが所定の形に変形するウィンドウにより前記ウィンドウ処理手段において階調変換を行わせる階調変換制御手段を、具備している。
【０００７】
また、特許文献５に開示の画像処理装置は、入力された画像データを構成する画素値の平均および偏差を求める平均偏差算出手段と、前記画素値の平均を中心とした前記画素値の偏差の所定倍の範囲外の値をもつ画素を切り捨てて前記画素値のヒストグラムを生成するヒストグラム生成手段と、該ヒストグラム生成手段で生成されたヒストグラムを用いて前記画素値を変換する変換手段と、を備えている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−３０６９３８号公報
【特許文献２】特開２００３−８８９８号公報
【特許文献３】特開平１−２２２３８２号公報
【特許文献４】特開平５−８４２３５号公報
【特許文献５】特開２００３−３０８５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、上述のヒストグラムイコライゼーション法を用いるダイナミックレンジ圧縮技術は、画像のヒストグラムが略平坦なプロファイルである場合、すなわち、画像の累積度数分布が略リニアに変化するプロファイルである場合には、良好にダイナミックレンジを圧縮した画像を生成することができる。しかしながら、例えば夜景やほぼ暗闇等を撮像した画像等のように、ヒストグラムにおける度数が偏って分布している場合では、圧縮変換特性で変換された画素値が大きくなり過ぎる等によって、不自然な画像になってしまう。
【００１０】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、ヒストグラムにおける度数が偏って分布している場合でも、ヒストグラムイコライゼーション法を用いてダイナミックレンジをより適切に圧縮することができる画像処理装置および画像処理方法ならびにこれを用いた撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる画像処理装置は、入力画像における各画素の画素値のヒストグラムを生成するヒストグラム生成部と、前記ヒストグラム生成部で生成したヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算するオフセット処理部と、前記オフセット処理部で生成したオフセット値加算後のヒストグラムに基づいて、前記入力画像を圧縮するための圧縮特性を生成する圧縮特性生成部と、前記圧縮特性生成部で生成した圧縮特性を用いることによって、前記入力画像よりもダイナミックレンジの小さい圧縮画像を生成する圧縮画像生成部とを備えることを特徴とする。そして、好ましくは、前記圧縮特性生成部は、前記オフセット処理部で生成したオフセット値加算後のヒストグラムから累積ヒストグラムを生成し、前記生成した累積ヒストグラムを圧縮画像の取り得る画素値の範囲に正規化することによって圧縮特性を生成するものである。
【００１２】
度数が偏って分布しているヒストグラムをそのまま用いて圧縮特性を生成する場合には、この度数が偏っている部分に優先的に階調が割り当てられてしまうため、不自然な画像になってしまう。上記構成の画像処理装置では、階級の増大に従って単調に増加する各階級のオフセット値がヒストグラムの各階級の度数に加算される。このため、このような画像処理装置では、階調の割り当てが全体に亘って行われ、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００１３】
また、他の一態様では、上述の画像処理装置において、前記ヒストグラム生成部で生成したヒストグラムにおいて度数を持つ最大の階級よりも大きな階級に所定の度数を与えることによって、前記ヒストグラム生成部で生成したヒストグラムを階級方向に拡大する拡大処理部をさらに備え、前記オフセット処理部は、前記拡大処理部で拡大されたヒストグラムにおいて度数を持つ最小の階級から前記所定の度数を与えられた最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算することを特徴とする。
【００１４】
このような画像処理装置では、前記ヒストグラム生成部で生成したヒストグラムにおいて度数を持つ最大の階級が拡大処理部によってより大きな階級となり、もともと度数を持たなかった階級にもオフセット処理部によって度数が与えられることになる。このため、このような画像処理装置では、度数が所定範囲の階級に集中して度数が偏って分布しているヒストグラムの場合でも、階調の割り当てがより広い範囲に亘って行われ、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００１５】
また、他の一態様では、上述の画像処理装置において、前記ヒストグラム生成部で生成したヒストグラムに対し、度数を所定の制限値に制限するクリップ処理部をさらに備え、前記オフセット処理部は、前記クリップ処理部で処理されたヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算することを特徴とする。また、他の一態様では、上述の画像処理装置において、前記拡大処理部で拡大されたヒストグラムに対し、度数を所定の制限値に制限するクリップ処理部をさらに備え、前記オフセット処理部は、前記クリップ処理部で処理されたヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算することを特徴とする。
【００１６】
このような画像処理装置では、度数が偏って分布しているヒストグラムの場合でも、クリップ処理部によって度数が所定の制限値に制限されるので、全体に対する度数の偏りの度合いが低減される。このため、このような画像処理装置では、階調の割り当てが全体により均一化され、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００１７】
また、他の一態様では、これら上述の画像処理装置において、前記所定の制限値は、階級ごとに異なることを特徴とする。
【００１８】
このような画像処理装置は、階級ごとに前記所定の制限値を調整することが可能となるので、階調の割り当てを全体により均一化するように調整することができる。したがって、このような画像処理装置では、ヒストグラムイコライゼーション法に特有なぎらぎら感をより抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００１９】
また、他の一態様では、これら上述の画像処理装置において、前記オフセット処理部に、前記階級の増大に従って単調に増加する各階級のオフセット値を複数のパターンでそれぞれ生成させる複数パターン生成処理部をさらに備えることを特徴とする。
【００２０】
このような画像処理装置では、複数のパターンでオフセット処理された圧縮画像を生成することが可能となるので、様々な圧縮画像の中から最適な圧縮画像を選択することが可能となる。
【００２１】
そして、本発明の他の一態様にかかる画像処理方法は、入力画像における各画素の画素値のヒストグラムを生成するヒストグラム生成工程と、前記ヒストグラム生成工程で生成したヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、前記生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算するオフセット処理工程と、前記オフセット処理工程で生成したオフセット値加算後のヒストグラムに基づいて、前記入力画像を圧縮するための圧縮特性を生成する圧縮特性生成工程と、前記圧縮特性生成工程で生成した圧縮特性を用いることによって、前記入力画像よりもダイナミックレンジの小さい圧縮画像を生成する圧縮画像生成工程とを備えることを特徴とする。
【００２２】
このような画像処理方法では、階級の増大に従って単調に増加する各階級のオフセット値がヒストグラムの各階級の度数に加算される。このため、このような画像処理方法では、階調の割り当てが全体に亘って行われ、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００２３】
そして、本発明の他の一態様にかかる撮像装置は、被写体光像を光電変換して画像信号を生成する撮像部と、前記撮像部で生成された画像信号に所定の画像処理を施して画像を生成する画像処理部とを備え、前記画像処理部は、これら上述のいずれかの画像処理装置を備えることを特徴とする。
【００２４】
このような撮像装置は、前記画像処理部がこれら上述のいずれかの画像処理装置を備えるので、ダイナミックレンジをより適切に圧縮することができる。
【発明の効果】
【００２５】
本発明にかかる画像処理装置および画像処理方法ならびにこれを用いた撮像装置は、ヒストグラムにおける度数が偏って分布している場合でも、ヒストグラムイコライゼーション法を用いてダイナミックレンジをより適切に圧縮することができる。
【図面の簡単な説明】
【００２６】
【図１】実施形態における撮像装置の構成を示すブロック図である。
【図２】図１に示す撮像装置におけるダイナミックレンジ圧縮処理部の構成を示すブロック図である。
【図３】一例として、階級とオフセット係数との対応関係を示すルックアップテーブルを示す図である。
【図４】一例として、最大有効エリア番号とベースバイアス値との対応関係を示すルックアップテーブルを示す図である。
【図５】図２に示すダイナミックレンジ圧縮処理部の動作を示すフローチャートである。
【図６】入力画像のヒストグラムが２個のピークを持つ場合に、図５に示す動作の各処理工程で生成される処理結果を説明するための図である。
【図７】入力画像が夜景である場合に、図５に示す動作の各処理工程で生成される処理結果を説明するための図である。
【図８】入力画像が暗闇である場合に、図５に示す動作の各処理工程で生成される処理結果を説明するための図である。
【図９】入力画像のヒストグラムが偏っていない場合に、比較例として、従来のヒストグラムイコライゼーションを行うダイナミックレンジ圧縮技術の各処理工程で生成される処理結果を説明するための図である。
【図１０】入力画像のヒストグラムが偏っている場合に、比較例として、従来のヒストグラムイコライゼーションを行うダイナミックレンジ圧縮技術の各処理工程で生成される処理結果を説明するための図である。
【発明を実施するための形態】
【００２７】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。
【００２８】
図１は、実施形態における撮像装置の構成を示すブロック図である。図２は、図１に示す撮像装置におけるダイナミックレンジ圧縮処理部の構成を示すブロック図である。図３は、一例として、階級とオフセット係数との対応関係を示すルックアップテーブルを示す図である。図４は、一例として、最大有効エリア番号とベースバイアス値との対応関係を示すルックアップテーブルを示す図である。
【００２９】
図１において、実施形態における撮像装置ＣＡは、撮像光学系１と、撮像センサ２と、画像処理部３とを備えている。
【００３０】
撮像光学系１は、１または複数の例えばレンズ等の光学素子を備え、物体（被写体）の光学像を撮像センサ２の受光面上に結像するものである。撮像光学系１は、前記１または複数の光学素子のうちの所定の光学素子を光軸ＡＸに沿って移動することによって、例えばフォーカシング（合焦）やズーミング（変倍）等を行ってもよい。撮像センサ２は、２次元平面の受光面を形成するように配置された複数の光電変換素子を備え、撮像光学系１によって結像された物体の光学像における光量に応じてＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分の信号に光電変換して画像処理部３へ出力する素子である。撮像センサ２は、例えば、ＣＣＤ型のイメージセンサやＣＭＯＳ型のイメージセンサ等であり、本実施形態では、被写体の広い輝度範囲に対応可能な広いダイナミックレンジを持ついわゆるリニアログセンサである。このリニアログセンサは、所定の閾値（変曲点）以下の入射光量に対して線形的に光電変換した電気信号を出力し、前記所定の閾値より大きな入射光量に対して対数的に光電変換した電気信号を出力するイメージセンサである。物体の光学像は、この撮像光学系１によって光軸ＡＸに沿って撮像センサ２の受光面まで導かれ、撮像センサ２によって前記物体の光学像が撮像される。
【００３１】
画像処理部３は、撮像センサ２から入力された信号に所定の画像処理を行うことによって、撮像センサ２から入力された前記信号から所定の画像信号を生成するものであり、本実施形態では、画像処理部３は、入力画像における各画素の画素値のヒストグラムに基づいてダイナミックレンジを圧縮するための圧縮特性を生成し、この生成した圧縮特性を用いることによって、前記入力画像よりもダイナミックレンジの小さい圧縮画像を生成する。このような画像処理部３は、本実施形態では、例えば、センサ出力処理部３１と、ダイナミックレンジ圧縮処理部（以下、「ＤＲＣ処理部」と略記する。）３２と、輝度色度処理部３３と、ＮＴＳＣ処理部３４と、演算処理部３５とを備えている。
【００３２】
センサ出力処理部３１は、撮像センサ２から入力された信号に所定の前処理を行うことによって、撮像センサ２から入力された前記信号から、画像処理部３で情報処理し易い信号を生成するものである。本実施形態では、撮像センサ２がリニアログセンサ２であることから、センサ出力処理部３１は、光電変換特性を統一するために、前記所定の前処理としていわゆるフルログ処理を行う。このフルログ処理は、リニアログセンサ２で線形変換されて出力された信号の信号値を、対数変換された場合の信号の信号値に変換する処理である。撮像センサ２から入力された前記信号は、このフルログ処理によって入射光量にかかわらず、入射光量全体に亘って対数変換で光電変換された信号の信号値となる。センサ出力処理部３１は、前記所定の前処理として、ＡＧＣ（オートゲインコントロール）によってゲイン（増幅率）を調整しつつ、撮像センサ２から入力された前記信号を増幅する増幅処理をさらに行ってもよく、サンプリングノイズを低減するためにＣＤＳ（相関二重サンプリング）処理をさらに行ってもよい。センサ出力処理部３１で処理された処理結果は、ＤＲＣ処理部３２および演算処理部３５へ出力される。
【００３３】
ＤＲＣ処理部３２は、センサ出力処理部３１で処理された処理結果のダイナミックレンジを圧縮する処理を行うものである。ＤＲＣ処理部３２については、後述する。ＤＲＣ処理部３２で処理された処理結果は、輝度色度処理部３３へ出力される。
【００３４】
輝度色度処理部３３は、ＤＲＣ処理部３２で処理された処理結果に対し輝度や色度等の各種の調整処理を行うものである。輝度色度処理部３３は、前記調整処理として、例えば、黒レベルの補正処理、ホワイトバランスの補正処理、色補間処理、色補正処理およびガンマ補正処理（γ補正処理）等を行う。これら各処理は、公知の処理方法によって処理される。輝度色度処理部３３で処理された処理結果は、ＮＴＳＣ処理部３４へ出力される。
【００３５】
ＮＴＳＣ処理部３４は、輝度色度処理部３３で処理された処理結果をＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）規格に沿った信号に変換する処理を行うものである。ＮＴＳＣ処理部３４は、ＮＴＳＣ規格に沿った画像信号をＮＴＳＣ出力として図略のディスプレイに出力する。前記図略のディスプレイには、画像が表示される。
【００３６】
演算処理部３５は、画像処理部３の各部を当該機能に応じて制御することによって画像処理部３全体の動作を制御するものである。本実施形態では、例えば、演算処理部３５は、ＤＲＣ処理部３２でダイナミックレンジを圧縮するために必要な各種設定データをＤＲＣ処理部３２へ出力し、輝度色度処理部３３で前記調整処理を行うために必要な各種設定データ（例えばガンマ補正処理のガンマ設定データ）を輝度色度処理部３３へ出力する。
【００３７】
このような画像処理部３は、例えば、各処理部３１〜３５ごとに個別部品によって構成されてもよく、また例えば、画像処理部３は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、メモリ素子および周辺回路等によって構成され、各処理部３１〜３５は、所定のプログラムを実行することによってＤＳＰ等に機能的に構成されてよい。
【００３８】
次に、ＤＲＣ処理部３２について、説明する。図２において、ＤＲＣ処理部３２は、例えば、ヒストグラム解析部３２１と、拡大処理部３２２と、クリップ処理部３２３と、オフセット処理部３２４と、累積ヒストグラム生成部３２５と、正規化処理部３２６と、圧縮画像生成部３２７とを備えている。
【００３９】
ヒストグラム解析部３２１は、センサ出力処理部３１で処理された処理結果を用いて、各画素の画素値のヒストグラムを生成するものである。このヒストグラムは、画素が取り得る画素値の範囲、例えば輝度値の範囲を等間隔に複数の階級に分け、各階級ごとに、その階級の画素値を持つ画素の総和を度数（頻度）として対応付けた統計グラフである。ヒストグラムでは、横軸は、階級であり、縦軸は、度数となる。なお、画素値（例えば輝度値）は、０以上である。このようなヒストグラムを参照することによって、入力画像における各画素の画素値の分布状況を視覚的に認識することが可能となる。そして、ヒストグラム解析部３２１は、拡大処理部３２２、クリップ処理部３２３またはオフセット処理部３２４で当該各処理部の機能に応じた所定の処理を行う際に必要となるデータを得るために所定の解析処理もこの生成したヒストグラムに対して行うものである。この所定の解析処理として、ヒストグラム解析部３２１は、例えば、度数を持つ最小の階級（有効エリア最小階級）および度数を持つ最大の階級（有効エリア最大階級）を検出し、さらに、この検出結果から、度数を持つ階級の範囲（有効エリア範囲）を検出する。ヒストグラム解析部３２１は、この生成したヒストグラムを拡大処理部３２２へ出力し、前記所定の解析処理によって得られた解析結果を演算処理部３５へ出力する。なお、以下の説明において、度数を持つ階級を有効エリアと呼称する場合もある。
【００４０】
演算処理部３５は、この解析結果を得ると、これら有効エリア最小階級、有効エリア最大階級および有効エリア範囲を設定データの１つとして拡大処理部３２２へ出力してもよいが、本実施形態では、演算処理部３５は、この解析結果を得ると、少なくとも有効エリア最大階級を設定データの１つとして拡大処理部３２２へ出力する。そして、演算処理部３５は、この解析結果を得ると、この解析結果に基づいて、オフセット処理で用いるベースバイアス値を求め、この求めたベースバイアス値を設定データの１つとしてオフセット処理部３２４へ出力する。このベースオフセット値は、後述する。
【００４１】
拡大処理部３２２は、ヒストグラム解析部３２１で生成したヒストグラムにおいて度数を持つ最大の階級（有効エリア最大階級）よりも大きな階級に所定の度数を与えることによって、ヒストグラム解析部３２１で生成したヒストグラムを階級方向に拡大するものである。より具体的には、拡大処理部３２２は、ヒストグラム解析部３２１で生成したヒストグラムにおいて度数を持つ最大の階級（演算処理部３５から入力された有効エリア最大階級）が予め設定された所定の閾値より小さい場合に、前記所定の閾値を含む階級に、予め設定された度数（ダミー度数）を与えることによって、ヒストグラム解析部３２１で生成したヒストグラムを階級方向に拡大する。前記ダミー度数は、前記所定の閾値を含む階級に度数が存在すればよいので例えば１や２等の小さな数である。この拡大処理部３２２の処理によって、ヒストグラム解析部３２１で生成したヒストグラムの有効エリア範囲が階級方向に拡がって拡大される。拡大処理部３２２は、この拡大したヒストグラムをクリップ処理部３２３へ出力する。
【００４２】
前記所定の閾値は、ヒストグラムの度数が所定範囲の階級に偏っている場合に、オフセット処理部３２４の処理によってヒストグラムの度数が全体に亘ることによって、階調の割り当てが全体により均一化され、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができるように、設定される。例えば、前記所定の閾値は、画素値が取り得る最大値（最大の階級）の３／５や３／４等に設定される。
【００４３】
なお、上述では、ダミー度数は、前記所定の閾値を含む階級にのみ与えられたが、拡大処理部３２２は、ヒストグラム解析部３２１で生成したヒストグラムにおいて度数を持つ最大の階級が予め設定された所定の閾値より小さい場合に、ヒストグラム解析部３２１で生成したヒストグラムにおいて度数を持つ最大の階級より１つ大きい階級から、前記所定の閾値を含む階級までの各階級に、ダミー度数をそれぞれ与えてもよい。
【００４４】
クリップ処理部３２３は、拡大処理部３２２で処理されたヒストグラムに対し、度数を所定の制限値に制限するものである。より具体的には、クリップ処理部３２３は、階級の増加に従って単調に増加する関数によって各階級ごとに制限値をそれぞれ設定し、各階級について、当該階級の度数が当該階級の制限値を越えている場合には、当該階級の度数を当該階級の制限値に置き換える。前記関数は、例えば、階級の増加に従って指数関数的に単調に増加する関数等であり、階級をｘとし、制限値をｙとし、定数ａ＞１とし、ｎを自然数とする場合に、ｙ＝ａｘやｙ＝ｘ２ｎであってよい。クリップ処理部３２３は、このクリップ処理したヒストグラムをオフセット処理部３２４へ出力する。
【００４５】
オフセット処理部３２４は、クリップ処理部３２３で処理されたヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、この生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算するものである。より具体的には、オフセット処理部３２４は、演算処理部３５から入力されたベースバイアス値に、階級の増大に従って単調に増加するように予め階級ごとに設定された係数（オフセット係数）を乗算することによって、各階級のオフセット値をそれぞれ生成し、この生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算する。オフセット処理部３２４は、このオフセット処理したヒストグラムを累積ヒストグラム生成部３２５へ出力する。
【００４６】
ベースバイアス値は、例えば、ヒストグラム解析部３２１で生成されたヒストグラムにおいて度数を持つ最大の階級（最大有効エリア番号）に基づいて設定される。より具体的には、まず、各階級ごとに、階級とベースバイアス値との対応関係が予め作成され、この対応関係が対応関係式あるいは対応関係テーブルとして画像処理部３に記憶される。そして、ヒストグラム解析部３２１で生成されたヒストグラムにおいて度数を持つ最大の階級に対応するベースバイアス値がこの対応関係式あるいは対応関係テーブルから検索されることで、入力画像に対するベースバイアス値が決定される。
【００４７】
各階級の前記オフセット係数および最大有効エリア番号とベースバイアス値との対応関係は、予め、複数のサンプル画像に対し試行することによって、階調の割り当てが全体により均一化され、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができるように、設定される。一例として、最大有効エリア番号とベースバイアス値との対応関係は、階級の増加に従って単調に減少するように設定される。
【００４８】
各階級の各オフセット係数の一例が図３に示され、最大有効エリア番号とベースバイアス値との対応関係の一例が図４に示されている。なお、これら図３および図４に示す各例では、階級は、１６個であるが、これに限定されるものではなく、任意でよい。これら図３および図４の例を用いてオフセット処理部３２４の動作の一例を説明すると、最大有効エリア番号が７であったとすると、オフセット処理部３２４は、図４に示す最大有効エリア番号とベースバイアス値との対応関係から最大有効エリア番号７に対応するベースバイアス値２９６４９を取り出し、このベースバイアス値２９６４９に、図３示す各階級の各オフセット値にそれぞれ乗じることによって、最大有効エリア番号７に対応する各階級の各オフセット値をそれぞれ生成する。
【００４９】
各階級のオフセット値は、階級の増大に従って単調に増加するように直接的にそれぞれ設定されてもよいが、本実施形態では、各階級のオフセット値は、上述のようにオフセット係数にベースバイアス値を乗算することによって設定されるので、入力画像のヒストグラムによってベースバイアス値を変更することができるため、デフォルトの各階級のオフセット値が同じでも、例えば夜景や暗闇等の入力画像の種類に応じて適宜にベースバイアス値を設定することによって、各階級のオフセット値を入力画像の種類に応じて適宜に設定することができる。このため、このようにオフセット係数にベースバイアス値を乗算することで各階級のオフセット値を設定することによって、本実施形態の撮像装置ＣＡおよび画像処理部３は、階調の割り当てを全体により適切に均一化することができ、ヒストグラムイコライゼーション法に特有なぎらぎら感をより適切に抑制することができる。
【００５０】
累積ヒストグラム生成部３２５は、オフセット処理部３２４で生成したオフセット値加算後のヒストグラムから累積ヒストグラムを生成するものである。この累積ヒストグラムは、累積ヒストグラムを作成する対象のヒストグラムに対し、各階級ごとに、当該階級までの全階級に含まれる各度数の総和を累積値として対応付けた統計グラフである。累積ヒストグラムでは、横軸は、階級であり、縦軸は、累積値となる。累積ヒストグラムＭｊは、ヒストグラムをｍｋとする場合に、Ｍｊ＝Σｍｋ（Σは、ｋ＝１〜ｊまでの和）と表すことができる。累積ヒストグラム生成部３２５は、この生成した累積ヒストグラムを正規化処理部３２６へ出力する。
【００５１】
正規化処理部３２６は、累積ヒストグラム生成部３２５で生成した累積ヒストグラムを圧縮画像の取り得る画素値の範囲に正規化することによって圧縮特性を生成するものである。すなわち、正規化した累積ヒストグラムが圧縮特性となる。圧縮画像の取り得る画素値の範囲は、圧縮画像が利用される装置、例えば、ディスプレイ装置、印刷装置および通信装置等に応じて決定される。例えば、圧縮画像の取り得る画素値の範囲は、圧縮画像がディスプレイ装置に表示される場合には、このディスプレイ装置のダイナミックレンジで決定される。正規化処理部３２６は、この生成した圧縮特性を圧縮画像生成部３２７へ出力する。
【００５２】
圧縮画像生成部３２７は、正規化処理部３２６で生成した圧縮特性を用いることによって、前記入力画像よりもダイナミックレンジの小さい圧縮画像を生成するものである。より具体的には、圧縮特性としての正規化後の累積ヒストグラムの横軸は、入力画像の画素値（例えば入力輝度値、元輝度値）であり、その縦軸は、ダイナミックレンジ圧縮後の画素値（例えば出力輝度値、圧縮輝度値）である。圧縮画像生成部３２７は、入力画像の各画素の画素値を前記圧縮特性で変換することによって圧縮後の画素値を求め、圧縮画像を生成する。圧縮画像生成部３２７は、圧縮画像を輝度色度処理部３３へ出力する。
【００５３】
次に、本実施形態の動作について説明する。図５は、図２に示すダイナミックレンジ圧縮処理部の動作を示すフローチャートである。図６は、入力画像のヒストグラムが２個のピークを持つ場合に、図５に示す動作の各処理工程で生成される処理結果を説明するための図である。図７は、入力画像が夜景である場合に、図５に示す動作の各処理工程で生成される処理結果を説明するための図である。図８は、入力画像が暗闇である場合に、図５に示す動作の各処理工程で生成される処理結果を説明するための図である。図６ないし図８の各図において、図（Ａ）は、入力画像のヒストグラムを示し、図（Ｂ）は、拡大処理後のヒストグラムを示し、図（Ｃ）は、クリップ処理後のヒストグラムを示し、図（Ｄ）は、オフセット処理後のヒストグラムを示し、そして、図（Ｅ）は、オフセット処理後のヒストグラムに対する累積ヒストグラムであって正規化された累積ヒストグラム（すなわち、圧縮特性）を示す。図６ないし図８における図（Ａ）ないし図（Ｄ）では、横軸は、階級であり、縦軸は、度数であり、図６（Ｅ）ないし図８（Ｅ）は、横軸は、階級であり、縦軸は、累積値である。図９は、入力画像のヒストグラムが偏っていない場合に、比較例として、従来のヒストグラムイコライゼーションを行うダイナミックレンジ圧縮技術の各処理工程で生成される処理結果を説明するための図である。図１０は、入力画像のヒストグラムが偏っている場合に、比較例として、従来のヒストグラムイコライゼーションを行うダイナミックレンジ圧縮技術の各処理工程で生成される処理結果を説明するための図である。図９および図１０の各図において、図（Ａ）は、横軸が階級であって縦軸が度数である入力画像のヒストグラムを示し、図（Ｂ）は、横軸が階級であって縦軸が累積値である累積ヒストグラムを示し、そして、図（Ｃ）は、正規化された累積ヒストグラム（すなわち、圧縮特性）を示す。図（Ｃ）は、圧縮特性として用いられるので、その横軸は、入力画像の画素値（例えば入力輝度値、元輝度値）であり、その縦軸は、ダイナミックレンジ圧縮後の画素値（例えば出力輝度値、圧縮輝度値）である。
【００５４】
図略の電源スイッチが投入されると、撮像装置ＣＡは、撮像光学系１によって撮像センサ２の受光面に結像された被写体の光学像を撮像センサ２によって光電変換する。この光電変換された信号は、画像処理部３で画像処理され、ＮＴＳＣ規格に沿った画像信号となって前記図略のディスプレイへ出力される。そして、前記図略のディスプレイには、被写体の画像が表示される。
【００５５】
この画像処理部３の画像処理において、ダイナミックレンジ圧縮処理は、次のように行われる。図５において、センサ出力処理部３１から信号が入力されると、ヒストグラム解析部３２１は、センサ出力処理部３１で処理された処理結果を用いて、各画素の画素値のヒストグラムを生成し、さらに、この生成したヒストグラムを解析し、本実施形態では、この生成したヒストグラムにおける、度数を持つ最小の階級（有効エリア最小階級）および度数を持つ最大の階級（有効エリア最大階級）ならびに度数を持つ階級の範囲（有効エリア範囲）を検出する。そして、ヒストグラム解析部３２１は、この生成したヒストグラムを拡大処理部３２２へ出力し、解析結果の有効エリア最小階級および有効エリア最大階級ならびに有効エリア範囲を演算処理部３５へ出力する（Ｓ１）。処理Ｓ１では、このようなヒストグラム生成処理およびヒストグラム解析処理が行われ、この生成されたヒストグラムは、拡大処理部３２２へ通知され、そして、解析結果は、演算処理部３５へ通知される。
【００５６】
次に、処理Ｓ２において、ヒストグラム解析部３２１からヒストグラムが入力されると、拡大処理部３２２は、本実施形態では、拡大処理部３２２は、ヒストグラム解析部３２１で生成したヒストグラムにおいて度数を持つ最大の階級（演算処理部３５から入力された有効エリア最大階級）と予め設定された所定の閾値とを比較し、両者の大小を判断する。この比較判断の結果、拡大処理部３２２は、前記最大階級（前記有効エリア最大階級）が前記所定の閾値より小さい場合には、前記所定の閾値を含む階級に、予め設定された度数（ダミー度数）を与えることによって、ヒストグラム解析部３２１で生成したヒストグラムを階級方向に拡大する。一方、前記比較判断の結果、拡大処理部３２２は、前記最大階級（前記有効エリア最大階級）が前記所定の閾値以上である場合には、拡大処理を行うことなく、ヒストグラムをそのまま据え置く。処理Ｓ２では、このような拡大処理が行われ、処理済みのヒストグラムは、クリップ処理部３２３へ通知される。をクリップ処理部３２３へ通知する。
【００５７】
次に、処理Ｓ３において、拡大処理部３２２から処理済みのヒストグラムが入力されると、クリップ処理部３２３は、本実施形態では、拡大処理部３２２で処理されたヒストグラムに対し、各級ごとに、当該階級の度数と当該階級の制限値とを比較し、両者の大小を判断する。この比較判断の結果、クリップ処理部３２３は、当該階級の度数が当該階級の制限値を越えている場合には、当該階級の度数を当該階級の制限値に置き換える。一方、前記比較判断の結果、クリップ処理部３２３は、当該階級の度数が当該階級の制限値以下である場合には、当該階級の度数をそのまま据え置く。処理Ｓ３では、このようなクリップ処理が行われ、処理済みのヒストグラムは、オフセット処理部３２４へ通知される。
【００５８】
次に、処理Ｓ４において、クリップ処理部３２３から処理済みのヒストグラムが入力されると、オフセット処理部３２４は、本実施形態では、クリップ処理部３２３で処理されたヒストグラムにおいて度数を持つ最小の階級から度数を持つ最大の階級までの各階級に対して、演算処理部３５からのベースバイアス値に各階級のオフセット係数を乗算することによって各階級のオフセット値をそれぞれ生成し、この生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算する。処理Ｓ４では、このようなオフセット処理が行われ、処理済みのヒストグラムは、累積ヒストグラム生成部３２５へ通知される。
【００５９】
このような処理Ｓ２から処理Ｓ４の各処理と並行して演算処理部３５は、ヒストグラム解析部３２１から入力された解析結果に基づいて、少なくとも有効エリア最大階級の情報を含む設定データを生成して拡大処理部３２２へ出力し、前記解析結果に基づいてベースバイアス値を生成して設定データとしてオフセット処理部３２４へ出力している。
【００６０】
次に、処理Ｓ５において、オフセット処理部３２４から処理済みのヒストグラムが入力されると、累積ヒストグラム生成部３２５は、オフセット処理部３２４で生成したオフセット値加算後のヒストグラムから累積ヒストグラムを生成する。処理Ｓ５では、このような累積ヒストグラム生成処理が行われ、この生成した累積ヒストグラムは、正規化処理部３２６へ通知される。
【００６１】
次に、処理Ｓ６において、累積ヒストグラム生成部３２５から累積ヒストグラムが入力されると、正規化処理部３２６は、累積ヒストグラム生成部３２５で生成した累積ヒストグラムを圧縮画像の取り得る画素値の範囲に正規化することによって圧縮特性を生成する。処理Ｓ６では、このような正規化処理が行われ、圧縮特性が生成され、この正規化された累積ヒストグラムは、圧縮特性として圧縮画像生成部３２７へ通知される。
【００６２】
次に、処理Ｓ７において、正規化処理部３２６から圧縮特性が入力されると、圧縮画像生成部３２７は、正規化処理部３２６で生成した圧縮特性を用いることによって、前記入力画像よりもダイナミックレンジの小さい圧縮画像を生成する。処理Ｓ７では、このような圧縮画像生成処理が行われ、圧縮画像が生成され、この生成された圧縮画像は、ＤＲＣ処理部３２の出力として、輝度色度処理部３３へ出力される。
【００６３】
このように本実施形態における撮像装置ＣＡおよび画像処理部３は、オフセット処理部３２４を備え、入力画像に基づいたヒストグラムに、階級の増大に従って単調に増加するオフセット値を加算するオフセット処理を行って圧縮特性を生成する。このため、本実施形態における撮像装置ＣＡおよび画像処理部３は、階調の割り当てが全体に亘って行われ、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００６４】
また、本実施形態における撮像装置ＣＡおよび画像処理部３は、拡大処理部３２２を備え、入力画像に基づいたヒストグラムが偏っている場合に拡大処理部３２２によってこのヒストグラムを階級方向に拡大する。したがって、入力画像に基づいたヒストグラムにおいて度数を持つ最大の階級が拡大処理部３２２によってより大きな階級となり、もともと度数を持たなかった階級にもオフセット処理部３２４によって度数が与えられることになる。このため、本実施形態における撮像装置ＣＡおよび画像処理部３は、度数が所定範囲の階級に集中して度数が偏って分布しているヒストグラムの場合でも、階調の割り当てがより広い範囲に亘って行われ、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００６５】
また、本実施形態における撮像装置ＣＡおよび画像処理部３は、クリップ処理部３２３を備え、クリップ処理部３２３によって、入力画像に基づいたヒストグラムに対し、度数を所定の制限値に制限する。したがって、度数が偏って分布しているヒストグラムの場合でも、クリップ処理部３２３によって度数が所定の制限値に制限されるので、全体に対する度数の偏りの度合いが低減される。このため、本実施形態における撮像装置ＣＡおよび画像処理部３は、階調の割り当てが全体により均一化され、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００６６】
また、本実施形態における撮像装置ＣＡおよび画像処理部３では、クリップ処理の制限値が階級ごとに異なっている。このため、本実施形態における撮像装置ＣＡおよび画像処理部３は、階級ごとに制限値を調整することが可能となるので、階調の割り当てを全体により均一化するように調整することができる。したがって、本実施形態における撮像装置ＣＡおよび画像処理部３では、ヒストグラムイコライゼーション法に特有なぎらぎら感をより抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００６７】
ここで、より具体的に本実施形態における撮像装置ＣＡおよび画像処理部３の作用効果を説明するために、３種類の入力画像について、その圧縮特性の生成について以下に説明する。
【００６８】
まず、第１に、図６（Ａ）に示すように、入力画像のヒストグラムが比較的暗い階級（小さい階級）の一部の範囲および比較的明るい階級（大きな階級）の一部の範囲に、それぞれ、度数のピークを持つふた山のヒストグラムである場合には、処理Ｓ２では、このふた山のヒストグラムにおける度数を持つ最大の階級（有効エリア最大階級）は、図６（Ｂ）に示すように、所定の閾値（図６（Ｂ）中に▲で示す）を越えているので、階級方向の拡大は、行われない。次に、処理Ｓ３では、このふた山のヒストグラムにおける各階級の各度数は、図６（Ｃ）に示すように、各階級の制限値（図６（Ｃ）中に破線で示す）をいずれも越えていないので、クリップ処理は、行われない。次に、処理Ｓ４では、オフセット処理が行われ、図６（Ｄ）に示すように、このふた山のヒストグラムにおける各階級の度数に、各階級ごとのオフセット値が加算される。このため、もともとのふた山のヒストグラムは、階級の増大に従って度数が引き上げられ、比較的明るい階級（大きな階級）の一部の範囲における度数のピークがより高くなる。そして、処理Ｓ５では、このオフセット処理されたふた山のヒストグラムから累積ヒストグラムが生成され、処理Ｓ６では、これが正規化される。このように生成された正規化された累積ヒストグラム、すなわち、圧縮特性は、図６（Ｅ）に示すように、階級の増大に従って比較的急峻に立ち上がる部分が少なく、階級の増大に従って略略リニアに増加するプロファイルとなる。
【００６９】
第２に、入力画像が夜景である場合には、図７（Ａ）に示すように、入力画像のヒストグラムは、比較的広い範囲に度数を持つ階級を有するけれども比較的暗い階級（小さい階級）の一部の範囲に度数のピークを持っており、度数分布が偏っている。このような夜景のヒストグラムでは、処理Ｓ２では、この夜景のヒストグラムにおける度数を持つ最大の階級（有効エリア最大階級）は、図７（Ｂ）に示すように、所定の閾値（図７（Ｂ）中に▲で示す）を越えているので、階級方向の拡大は、行われない。次に、処理Ｓ３では、この夜景のヒストグラムにおける各階級の各度数は、図７（Ｃ）に示すように、暗い階級の範囲におけるピークの度数が各階級の制限値（図７（Ｃ）中に破線で示す）を越えているので、この部分で、クリップ処理が行われる（階級の度数が当該階級の制限値を越えていない他の部分では、クリップ処理が行われない）。このようにピークカットされる結果、全体に対する度数の偏り度合いが低減される。次に、処理Ｓ４では、オフセット処理が行われ、図７（Ｄ）に示すように、このクリップ処理された夜景のヒストグラムにおける各階級の度数に、各階級ごとのオフセット値が加算される。このため、クリップ処理によって暗い部分の度数が制限値でカットされたヒストグラムは、階級の増大に従って度数が引き上げられ、比較的明るい階級の度数がより高くなり、強調される。そして、処理Ｓ５では、このオフセット処理された夜景のヒストグラムから累積ヒストグラムが生成され、処理Ｓ６では、これが正規化される。このように生成された正規化された累積ヒストグラム、すなわち、圧縮特性は、図７（Ｅ）に示すように、階級の増大に従って比較的急峻に立ち上がる部分がより少なく、階級の増大に従って略略リニアに増加するプロファイルとなる。
【００７０】
第３に、入力画像が暗闇である場合には、図８（Ａ）に示すように、入力画像のヒストグラムは、比較的暗い階級（小さい階級）の一部の範囲のみに度数を持ち、この範囲で度数のピークを持っている。このような度数分布の偏った暗闇のヒストグラムでは、処理Ｓ２では、この暗闇のヒストグラムにおける度数を持つ最大の階級（有効エリア最大階級）は、図８（Ｂ）に示すように、所定の閾値（図８（Ｂ）中に▲で示す）を越えていないので、拡大処理が行われ、この暗闇のヒストグラムは、階級方向に拡大される。これによって有効エリア範囲が拡大されるため、全体の範囲が広がる結果、全体に対する度数の偏り度合いが低減される。次に、処理Ｓ３では、この拡大処理された暗闇のヒストグラムにおける各階級の各度数は、図８（Ｃ）に示すように、暗い階級の範囲におけるピークの度数が各階級の制限値（図８（Ｃ）中に破線で示す）を越えているので、この部分で、クリップ処理が行われる（階級の度数が当該階級の制限値を越えていない他の部分では、クリップ処理が行われない）。このようにピークカットされる結果、全体に対する度数の偏り度合いがさらに低減される。次に、処理Ｓ４では、オフセット処理が行われ、図８（Ｄ）に示すように、このクリップ処理された暗闇のヒストグラムにおける各階級の度数に、各階級ごとのオフセット値が加算される。このため、クリップ処理によって暗い部分の度数が制限値でカットされたヒストグラムは、階級の増大に従って度数が引き上げられ、比較的明るい階級の度数がより高くなり、強調される。そして、処理Ｓ５では、このオフセット処理された暗闇のヒストグラムから累積ヒストグラムが生成され、処理Ｓ６では、これが正規化される。このように生成された正規化された累積ヒストグラム、すなわち、圧縮特性は、図８（Ｅ）に示すように、階級の増大に従って比較的急峻に立ち上がる部分がより少なく、階級の増大に従って略略リニアに増加するプロファイルとなる。
【００７１】
このように本実施形態における撮像装置ＣＡおよび画像処理部３は、ふた山のヒストグラムを持つ入力画像、夜景の入力画像および暗闇の入力画像であっても、階級の増大に従って略略リニアに増加するプロファイルを持つ圧縮特性が得られるため、階調の割り当てが全体に亘って行われ、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００７２】
上記本実施形態の圧縮特性の比較例として、比較例の圧縮特性を説明する。この比較例の圧縮特性は、次のように、生成される。まず、入力画像のヒストグラムが生成され、次に、このヒストグラムに対し累積ヒストグラムが生成され、次に、この累積ヒストグラムが圧縮画像の取り得る画素値の範囲に正規化される。これによって、比較例の圧縮特性が生成される。
【００７３】
このような比較例の圧縮特性の生成方法では、図９（Ａ）に示すように、入力画像のヒストグラムが比較的暗い階級（小さい階級）から明るい階級（大きな階級）まで、一様に分布している場合には、図９（Ｂ）に示すように、図９（Ａ）に示すヒストグラムから生成された累積ヒストグラムは、略リニアに増加するプロファイルとなる。したがって、これを正規化した累積ヒストグラム、すなわち、圧縮特性は、図９（Ｃ）および図９（Ｄ）にそれぞれ示すように、略リニアに増加するプロファイルを持つ特性曲線となる。このため、階調が全体に略均一的に割り振られ、見やすい圧縮画像を得ることができる。
【００７４】
ところが、入力画像が暗闇や夜景等の場合では、このような入力画像のヒストグラムは、図１０（Ａ）に示すように、度数を持つ階級が一部の範囲（暗い階級の範囲）に偏っていたり（暗闇の場合）、比較的広い範囲に度数を持つ階級を有するけれども大きな度数を持つ階級が一部の範囲（暗い階級の範囲）に偏っていたりする（夜景の場合）。このような比較的暗い階級に度数が偏ったプロファイルを持つヒストグラムから生成された累積ヒストグラムは、図１０（Ｂ）に示すように、階級の増加に従って比較的急峻に立ち上がり、その後、緩やかに増加するプロファイルとなる。したがって、これを正規化した累積ヒストグラム、すなわち、圧縮特性は、図１０（Ｃ）および図１０（Ｄ）にそれぞれ示すように、累積ヒストグラムと同様に、階級の増加に従って比較的急峻に立ち上がり、その後、緩やかに増加するプロファイルを持つ特性曲線となって、略リニアに増加するプロファイルを持つ特性曲線にならない。このため、上記階級の増加に従って比較的急峻に立ち上がる部分（図１０（Ｄ）に破線で丸く囲っている部分）に、階調が優先的に割り振られてしまい、階調の割り当てが局所的になる。その結果、圧縮画像は、ヒストグラムイコライゼーション法に特有なぎらぎら感を持つ画像となってします。
【００７５】
一方、本実施形態における撮像装置ＣＡおよび画像処理部３では、図６（Ｅ）、図７（Ｅ）および図８（Ｅ）に示すように、累積ヒストグラムは、図１０（Ｂ）に較べて、階級の増加に従ってよりリニアに増加するプロファイルである。したがって、この累積ヒストグラムを正規化することによって得られる圧縮特性も、本実施形態における撮像装置ＣＡおよび画像処理部３では、図１０（Ｄ）に倉ばて、階級の増加に従ってよりリニアに増加するプロファイルを持つ特性曲線となる。この結果、本実施形態における撮像装置ＣＡおよび画像処理部３では、度数が所定範囲の階級に集中して度数が偏って分布しているヒストグラムの場合でも、階調の割り当てがより広い範囲に亘って行われ、ヒストグラムイコライゼーション法に特有なぎらぎら感を抑制することができ、ダイナミックレンジをより適切に圧縮することができる。
【００７６】
なお、上述では、ＤＲＣ処理部３２は、ヒストグラム解析部３２１、拡大処理部３２２、クリップ処理部３２３、オフセット処理部３２４、累積ヒストグラム生成部３２５、正規化処理部３２６および圧縮画像生成部３２７を備えたが、例えば、拡大処理部３２２が省略され、ＤＲＣ処理部３２は、ヒストグラム解析部３２１、クリップ処理部３２３、オフセット処理部３２４、累積ヒストグラム生成部３２５、正規化処理部３２６および圧縮画像生成部３２７を備えて構成されてもよい。このような場合では、クリップ処理部３２３は、ヒストグラム解析部３２１で生成したヒストグラムに対し、度数を所定の制限値に制限するクリップ処理を行う。また例えば、クリップ処理部３２３が省略され、ＤＲＣ処理部３２は、ヒストグラム解析部３２１、拡大処理部３２２、オフセット処理部３２４、累積ヒストグラム生成部３２５、正規化処理部３２６および圧縮画像生成部３２７を備えて構成されてもよい。このような場合では、オフセット処理部３２４は、拡大処理部３２２で拡大されたヒストグラムにおいて度数を持つ最小の階級から前記所定の度数を与えられた最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、この生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算するオフセット処理を行う。また例えば、拡大処理部３２２およびクリップ処理部３２３が省略され、ＤＲＣ処理部３２は、ヒストグラム解析部３２１、オフセット処理部３２４、累積ヒストグラム生成部３２５、正規化処理部３２６および圧縮画像生成部３２７を備えて構成されてもよい。このような場合では、オフセット処理部３２４は、ヒストグラム解析部３２１で生成されたヒストグラムにおいて度数を持つ最小の階級から前記所定の度数を与えられた最大の階級までの各階級に対して、階級の増大に従って単調に増加する各階級のオフセット値をそれぞれ生成し、この生成した各階級のオフセット値を前記最小の階級から前記最大の階級までの各階級の度数にそれぞれ加算するオフセット処理を行う。
【００７７】
また、上述の実施形態において、撮像装置ＣＡおよび画像処理部３は、図２に破線で示すように、オフセット処理部３２４に、前記階級の増大に従って単調に増加する各階級のオフセット値を複数のパターンでそれぞれ生成させる複数パターン生成処理部３２４１をさらに備えてもよい。このように構成することによって、複数のパターンでオフセット処理された圧縮画像を生成することが可能となるので、１個の入力画像に対し各パターンのオフセット値による各圧縮特性で様々な圧縮画像を生成し、これら様々な圧縮画像の中から最適な圧縮画像を選択することが可能となる。
【００７８】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【００７９】
ＣＡ  撮像装置
１  撮像光学系
２  撮像センサ
３  画像処理部
３１  センサ出力処理部
３２  ダイナミックレンジ圧縮処理部
３２１  ヒストグラム解析部
３２２  拡大処理部
３２３  クリップ処理部
３２４  オフセット処理部
３２５  累積ヒストグラム生成部
３２６  正規化処理部
３２７  圧縮画像生成部
【図１】
2014096752.tif 000003
【図２】
2014096752.tif 000004
【図３】
2014096752.tif 000005
【図４】
2014096752.tif 000006
【図５】
2014096752.tif 000007
【図６】
2014096752.tif 000008
【図７】
2014096752.tif 000009
【図８】
2014096752.tif 000010
【図９】
2014096752.tif 000011
【図１０】
2014096752.tif 000012