(57)【要約】【課題】  覆い焼き処理において、画像の所要箇所における照明成分の明度差を大きくする。【解決手段】  撮像手段によって被写体光を撮像し、照明成分抽出手段によって撮像手段による撮影画像から照明成分を抽出し、反射率成分抽出手段によって撮影画像から反射率成分を抽出し、圧縮特性設定手段によって、撮影画像に対する少なくとも２つの所定の領域が設定されるとともに、当該各領域間の明度差を強調する圧縮特性を設定し、圧縮手段によって、圧縮特性設定手段により設定された圧縮特性に基づいて照明成分のダイナミックレンジを圧縮し、画像生成手段によって、このダイナミックレンジが圧縮された圧縮照明成分と反射率成分とから新たな画像を生成する。【選択図】  図３
2007028088.tif 000002
【特許請求の範囲】
【請求項１】
被写体光を撮像する撮像手段と、
前記撮像手段による撮影画像から照明成分を抽出する照明成分抽出手段と、
前記撮影画像から反射率成分を抽出する反射率成分抽出手段と、
前記照明成分抽出手段によって抽出された照明成分のダイナミックレンジを所定の圧縮特性に基づいて圧縮する圧縮手段と、
前記圧縮手段によって照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段によって抽出された反射率成分とから新たな画像を生成する画像生成手段と、
前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を設定する圧縮特性設定手段とを備え、
前記圧縮手段は、前記圧縮特性設定手段によって設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮することを特徴とする撮像装置。
【請求項２】
前記圧縮特性設定手段は、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性を設定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮影画像又は照明成分の輝度ヒストグラムを作成するヒストグラム作成手段をさらに備え、
前記圧縮特性設定手段は、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記圧縮特性設定手段は、前記撮影画像又は前記照明成分における空間的な所定範囲を設定するとともに、該所定範囲の画像に基づいて前記各領域を設定することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記圧縮特性設定手段は、前記輝度ヒストグラムのピークを算出し、該ピーク又はピーク近傍位置を中心とした所定範囲を前記各領域として設定することを特徴とする請求項３又は４記載の撮像装置。
【請求項６】
前記照明成分に対する、主被写体の所定輝度値を示す主被写体輝度以上の第１レベル値を設定する第１レベル値設定手段と、
前記照明成分に対する、前記反射率成分の高輝度領域における反射率に応じた所定の画像出力最大値以下の第２レベル値を設定する第２レベル値設定手段とをさらに備え、
前記圧縮特性設定手段は、前記各領域のうちの低輝度側の所定領域を前記第１レベル値と同レベルとし、高輝度側の所定領域を前記第２レベル値と同レベルとする圧縮特性を設定することを特徴とする請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
被写体光を撮像手段によって撮像する第１の工程と、
前記撮像手段による撮影画像から照明成分抽出手段によって照明成分を抽出する第２の工程と、
前記撮影画像から反射率成分抽出手段によって反射率成分を抽出する第３の工程と、
前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮手段によって所定の圧縮特性に基づいて圧縮する第４の工程と、
前記圧縮手段により照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段により抽出された反射率成分とから画像生成手段によって新たな画像を生成する第５の工程と、
前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を圧縮特性設定手段によって設定する第６の工程とを有し、
前記第４の工程は、圧縮手段によって、前記圧縮特性設定手段により設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮する工程であることを特徴とする画像処理方法。
【請求項８】
前記第６の工程は、圧縮特性設定手段によって、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性を設定する工程であることを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記撮影画像又は照明成分の輝度ヒストグラムをヒストグラム作成手段によって作成する第７の工程をさらに有し、
前記第６の工程は、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定する工程であることを特徴とする請求項７又は８記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置、特に、ダイナミックレンジ圧縮機能を有する撮像装置及びこれに適用され得る画像処理方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（ＤＲ）を拡大させることが１つの大きなテーマとなっている。ダイナミックレンジの拡大に関し、例えばＭＯＳＦＥＴのサブスレッショルド特性を利用することで、高輝度側の出力特性を入射光量に応じて電気信号が対数的に変換される特性を有する撮像センサ、すなわち線形特性領域及び対数特性領域からなる光電変換特性を有する撮像センサ（リニアログセンサという）が知られている。リニアログセンサは、上述のように入射光量に対して自然対数的に変換された出力が得られることから、線形特性領域だけの光電変換特性を有する撮像センサと比べてより広いダイナミックレンジが確保される。
【０００３】
上記リニアログセンサのように撮像系の広ダイナミックレンジ化が進む一方、現状ではモニタ等の表示系の広ダイナミックレンジ化は撮像系ほど進んでおらず、たとえ入力画像の広ダイナミックレンジ化が図られたとしても、表示系においてその効果を充分に発揮できないことになる。したがって、広ダイナミックレンジの入力画像が表示系のダイナミックレンジに収まるように該入力画像のダイナミックレンジを圧縮させる必要がある。
【０００４】
ところで、“ダイナミックレンジの圧縮”には、局所的に画像の明暗を調整する、すなわち画像の照明成分を圧縮することでコントラスト（階調）を向上させる意味と、画像全体の明暗の関係をそのまま維持した状態で、文字通り、帯域（ダイナミックレンジ）を圧縮する（局所的な明暗調整とは無関係に画像を一律に圧縮する）意味との２つの意味があるが、これらを区別するべく、前者を「覆い焼き処理」、後者を「ＤＲ圧縮」と称するものとする。
【０００５】
従来、覆い焼き処理では、例えば画像から照明成分を抽出し（このとき反射率成分も抽出する）、この照明成分をＤＲ圧縮した後、当該ＤＲ圧縮された照明成分と反射率成分とから上記局所的に画像の明暗が調整された新たな画像を生成する。これに関し、例えば特許文献１に開示されている技術では、図１２に示すように、リニアログセンサにより得られた線形特性及び対数特性の光電変換特性を有する画像（以降、線形／対数画像という）を、ログ画像Ｉ１とリニア画像Ｉ２とに分割抽出し、それぞれの画像で覆い焼き処理を行った後、これらの画像を合成する。この合成画像を図１３に示す画像Ｉ’とすると、この画像Ｉ’が出力画像（例えば上記表示系）のダイナミックレンジに収まるように入力画像すなわち上記線形／対数画像としての元画像Ｉに対するＤＲ圧縮が行われる。
【特許文献１】特願２００４−３７７８７５号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に示す技術では、照明成分の全輝度レベルを一律に圧縮しているため、照明成分の明暗差が縮まり、すなわち、例えば図１４に示すように画像の建物１４１の部分のコントラストを向上させようとする覆い焼き処理によって、例えば空１４２と雲１４３の部分との明度差が小さくなり（空１４２及び雲１４３全体が所謂白飛びしたような画像となり）、画像全体でのコントラストが低下した所謂メリハリの少ない薄っぺらい画像（絵）となってしまう。これは、図１５に示すように、或る画像について例えば約２倍の輝度差（想定される画素値の差Ｄ１）を有する輝度Ａ、Ｂ（被写体Ａ、Ｂ）で見た場合、照明成分の圧縮により、この輝度Ａ、Ｂにおける画素値Ａ’、Ｂ’の差Ｄ２が小さくなってしまうことによる。
【０００７】
本発明は、上記事情に鑑みてなされたもので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の請求項１に係る撮像装置は、被写体光を撮像する撮像手段と、前記撮像手段による撮影画像から照明成分を抽出する照明成分抽出手段と、前記撮影画像から反射率成分を抽出する反射率成分抽出手段と、前記照明成分抽出手段によって抽出された照明成分のダイナミックレンジを所定の圧縮特性に基づいて圧縮する圧縮手段と、前記圧縮手段によって照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段によって抽出された反射率成分とから新たな画像を生成する画像生成手段と、前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を設定する圧縮特性設定手段とを備え、前記圧縮手段は、前記圧縮特性設定手段によって設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮することを特徴とする。
【０００９】
上記構成によれば、撮像手段によって被写体光が撮像され、照明成分抽出手段によって撮像手段による撮影画像から照明成分が抽出され、反射率成分抽出手段によって撮影画像から反射率成分が抽出され、圧縮特性設定手段によって、撮影画像又は照明成分に対する少なくとも２つの所定の領域が設定されるとともに、当該各領域間の明度差を強調する圧縮特性が設定される。そして、圧縮手段によって、圧縮特性設定手段により設定された圧縮特性に基づいて上記抽出された照明成分のダイナミックレンジが圧縮され、画像生成手段によって、このダイナミックレンジが圧縮された圧縮照明成分と反射率成分とから新たな画像が生成される。
【００１０】
請求項２に係る撮像装置は、請求項１において、前記圧縮特性設定手段は、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性を設定することを特徴とする。この構成によれば、圧縮特性設定手段によって、圧縮特性を示す特性ラインの当該各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性が設定される。
【００１１】
請求項３に係る撮像装置は、請求項１又は２において、前記撮影画像又は照明成分の輝度ヒストグラムを作成するヒストグラム作成手段をさらに備え、前記圧縮特性設定手段は、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定することを特徴とする。この構成によれば、ヒストグラム作成手段によって、撮影画像又は照明成分の輝度ヒストグラムが作成され、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定される。
【００１２】
請求項４に係る撮像装置は、請求項１〜３のいずれかにおいて、前記圧縮特性設定手段は、前記撮影画像又は前記照明成分における空間的な所定範囲を設定するとともに、該所定範囲の画像に基づいて前記各領域を設定することを特徴とする。この構成によれば、圧縮特性設定手段によって、撮影画像又は照明成分における空間的な所定範囲が設定されるとともに、該所定範囲の画像に基づいて各領域が設定される。
【００１３】
請求項５に係る撮像装置は、請求項３又は４において、前記圧縮特性設定手段は、前記輝度ヒストグラムのピークを算出し、該ピーク又はピーク近傍位置を中心とした所定範囲を前記各領域として設定することを特徴とする。この構成によれば、圧縮特性設定手段によって、輝度ヒストグラムのピークが算出され、該ピーク又はピーク近傍位置を中心とした所定範囲が各領域として設定される。
【００１４】
請求項６に係る撮像装置は、請求項１〜５のいずれかにおいて、前記照明成分に対する、主被写体の所定輝度値を示す主被写体輝度以上の第１レベル値を設定する第１レベル値設定手段と、前記照明成分に対する、前記反射率成分の高輝度領域における反射率に応じた所定の画像出力最大値以下の第２レベル値を設定する第２レベル値設定手段とをさらに備え、前記圧縮特性設定手段は、前記各領域のうちの低輝度側の所定領域を前記第１レベル値と同レベルとし、高輝度側の所定領域を前記第２レベル値と同レベルとする圧縮特性を設定することを特徴とする。この構成によれば、第１レベル値設定手段によって、照明成分に対する、主被写体の所定輝度値を示す主被写体輝度以上の第１レベル値が設定され、第２レベル値設定手段によって、照明成分に対する、反射率成分の高輝度領域における反射率に応じた所定の画像出力最大値以下の第２レベル値が設定される。そして、圧縮特性設定手段によって、各領域のうちの低輝度側の所定領域を第１レベル値と同レベルとし、高輝度側の所定領域を第２レベル値と同レベルとする圧縮特性が設定される。
【００１５】
請求項７に係る画像処理方法は、被写体光を撮像手段によって撮像する第１の工程と、前記撮像手段による撮影画像から照明成分抽出手段によって照明成分を抽出する第２の工程と、前記撮影画像から反射率成分抽出手段によって反射率成分を抽出する第３の工程と、前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮手段によって所定の圧縮特性に基づいて圧縮する第４の工程と、前記圧縮手段により照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段により抽出された反射率成分とから画像生成手段によって新たな画像を生成する第５の工程と、前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を圧縮特性設定手段によって設定する第６の工程とを有し、前記第４の工程は、圧縮手段によって、前記圧縮特性設定手段により設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮する工程であることを特徴とする。
【００１６】
上記構成によれば、第１の工程において、撮像手段によって被写体光が撮像され、第２の工程において、照明成分抽出手段によって撮像手段による撮影画像から照明成分が抽出され、第３の工程において、反射率成分抽出手段によって撮影画像から反射率成分が抽出され、第６の工程において、圧縮特性設定手段によって、撮影画像又は照明成分に対する少なくとも２つの所定の領域（後述の被写体輝度エリア）が設定されるとともに、当該各領域間の明度差を強調する圧縮特性が設定される。そして、第４の工程において、圧縮手段によって、圧縮特性設定手段により設定された圧縮特性に基づいて上記抽出された照明成分のダイナミックレンジが圧縮され、第５の工程において、画像生成手段によって、このダイナミックレンジが圧縮された圧縮照明成分と反射率成分とから新たな画像が生成される。
【００１７】
請求項８に係る画像処理方法は、請求項７において、前記第６の工程は、圧縮特性設定手段によって、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性を設定する工程であることを特徴とする。この構成によれば、第６の工程において、圧縮特性設定手段によって、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性が設定される。
【００１８】
請求項９に係る画像処理方法は、請求項７又は８において、前記撮影画像又は照明成分の輝度ヒストグラムをヒストグラム作成手段によって作成する第７の工程をさらに有し、前記第６の工程は、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定する工程であることを特徴とする。この構成によれば、第７の工程において、撮影画像又は照明成分の輝度ヒストグラムがヒストグラム作成手段によって作成され、第６の工程において、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定される。
【発明の効果】
【００１９】
請求項１に係る撮像装置によれば、撮影画像又は照明成分に対して設定された少なくとも２つの所定領域間の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分のダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。
【００２０】
請求項２に係る撮像装置によれば、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。
【００２１】
請求項３に係る撮像装置によれば、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成される輝度ヒストグラムを用いて、当該各領域の設定を容易に行うことができる。
【００２２】
請求項４に係る撮像装置によれば、撮影画像又は照明成分における空間的な所定範囲が各領域として設定されるので、例えば、モニタ表示された撮影画像（又は照明成分画像）に対してユーザが所定範囲を指定することで各領域の設定を行うといったことが可能となり、画像における明度差を強調させたい箇所（各領域）の選択を、視覚的（直感的）に容易に行えるようになる。
【００２３】
請求項５に係る撮像装置によれば、輝度ヒストグラムのピーク又はピーク近傍位置を中心とした所定範囲を各領域として設定する方法によって、輝度ヒストグラムを用いた各領域の設定を容易に行うことができる。
【００２４】
請求項６に係る撮像装置によれば、各領域のうちの低輝度側の所定領域を第１レベル値と同レベルとし、高輝度側の所定領域を第２レベル値と同レベルとする圧縮特性を設定する方法によって、各領域間の明度差が強調される圧縮特性の設定を容易に行うことができる。
【００２５】
請求項７に係る画像処理方法によれば、撮影画像又は照明成分に対して設定された少なくとも２つの所定領域間の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分のダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。
【００２６】
請求項８に係る画像処理方法によれば、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。
【００２７】
請求項９に係る画像処理方法によれば、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成される輝度ヒストグラムを用いて、当該各領域の設定を容易に行うことができる。
【発明を実施するための最良の形態】
【００２８】
図１は、本実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。
【００２９】
レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系（被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック）を構成するものである。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、制御部８によってこの絞りやシャッタの駆動制御がなされる構成となっている。
【００３０】
撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して後段のアンプ４へ出力するものである。本実施形態においては、撮像センサ３として、センサ入射輝度が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性、換言すれば低輝度側が線形、高輝度側が対数の光電変換特性を有する対数変換型固体撮像素子が用いられる。なお、この光電変換特性の線形特性領域と対数特性領域との切り替り点（以降、変曲点という）は、撮像センサ３の各画素回路に対する所定の制御信号により任意に制御可能とされている。
【００３１】
具体的には、撮像センサ３は例えばフォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、Ｐ型又はＮ型のＭＯＳＦＥＴ等を備えた対数変換回路を付加し、ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂ＣＭＯＳイメージセンサが採用される。但し、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
【００３２】
アンプ４は、撮像センサ３から出力された画像信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。
【００３３】
Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。
【００３４】
画像処理部６は、Ａ／Ｄ変換部５によるＡ／Ｄ変換処理によって得られた画像信号に対する色補間／色補正処理やホワイトバランス補正処理、特に、本実施形態の主な特徴点である覆い焼き処理に基づく階調変換処理といった各種画像処理を行うものである。画像処理部６におけるこの階調変換処理については後に詳述する。なお、画像処理部６は、上記各機能部の他に、例えば信号の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去するＦＰＮ補正部やＡ／Ｄ変換部５から入力されるデジタル画像信号の黒レベルを基準の値に補正する黒基準補正部等（いずれも図示略）を備えていてもよい。
【００３５】
画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６で画像処理が施された画像データ等を保存するものである。画像メモリ７は、例えば撮影よる所定フレーム分の画像データを記憶し得る容量を有したものとなっている。
【００３６】
制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３等の装置各部からの各種信号に基づき装置各部が必要とする制御パラメータ等を算出し、これに基づいて例えばタイミングジェネレータや駆動部（いずれも図示略）を介して装置各部の動作を制御する。制御部８は、本実施形態においては、特に、画像処理部６の階調変換処理における照明成分圧縮処理や特性変換処理等の処理動作を制御する。
【００３７】
モニタ部９は、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等のモニタ表示を行うものである。モニタ部９は、具体的には、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなる。
【００３８】
操作部１０は、デジタルカメラ１に対するユーザによる操作指示入力を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えばレリーズスイッチが押下（オン）されることで、撮像動作、すなわち撮像センサ３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ７等に記録されるといった一連の撮影動作が実行される。
【００３９】
ここで、上記階調変換処理の機能に関する画像処理部６の構成及び動作の詳細について説明する。図２は、画像処理部６の各機能を説明するための機能ブロック図である。同図に示すように画像処理部６は、主被写体輝度取得部６１、特性変換部６２、照明成分抽出部６３、圧縮開始点設定部６４、反射率成分算出部６５、高輝度領域反射率算出部６６、最大輝度圧縮点算出部６７、ヒストグラム演算部６８、被写体輝度エリア設定部６９、照明成分圧縮部７０及び画像生成部７１を備えている。
【００４０】
主被写体輝度取得部６１は、撮像センサ３による撮像によって得られた撮影画像（元画像Ｉ）の主被写体輝度を取得（算出）するものである。主被写体輝度取得部６１は、図８に示すように例えば分割測光（マルチパターン測光）方式によって、撮像領域６００つまり元画像Ｉを、例えばＡ〜ＡＪブロックの３６個の検出ブロックに分割されてなる中央領域（主被写体領域６１０という）と、第１〜第１６ブロックの１６個の検出ブロックに分割されてなる周辺領域（周辺被写体領域６２０という）とからなる複数の区画に分割し、この各区画の画像から検出した輝度情報から例えば平均輝度として主被写体輝度を算出する。この場合、例えばＡ〜ＡＪブロック毎の主被写体輝度ヒストグラム（分布）を算出するとともに、このＡ〜ＡＪブロック毎の主被写体輝度ヒストグラムから主被写体領域６１０全体における主被写体全体輝度ヒストグラムを算出し、この主被写体全体輝度ヒストグラムから主被写体領域６１０に対する平均輝度を算出してもよい。この平均輝度算出の際には、例えば或る所定の閾値を用いて輝度データの「足切り」処理を行ってもよいし、周辺被写体領域の輝度情報（周辺被写体輝度ヒストグラムや周辺被写体全体輝度ヒストグラム）を用いてもよい。なお、主被写体輝度の算出方法は、上記したものに限定されず、種々の方法が採用可能である。また、主被写体輝度は平均輝度として算出せずともよく、例えば最大／最小輝度として算出してもよい。
【００４１】
ここで、図３は、上記階調変換処理による覆い焼き処理（照明成分の圧縮）について説明するグラフ図である。特性変換部６２は、図３に示すように、リニア特性３０１及びログ特性３０２からなる光電変換特性を有する元画像Ｉに対する、特性を統一する処理（特性統一処理）を行うものである。この元画像Ｉは、撮像センサ３からの入力画像であり、以下の（１）、（２）式に示すような入力輝度ｘに対する画素値ｙの関係式（光電変換特性）を有する。但し、同図中の座標点（Ｘｔｈ、Ｙｔｈ）は、変曲点３０３を示し、（１）式はリニア特性３０１である画像Ｉ２を示し、（２）式はログ特性３０２である画像Ｉ１を示す。なお、式中の記号「＊」は乗算を示し、ａ、ｂ、α、βは所定の係数を示す（以下も同じ）。
ｙ＝ａ＊ｘ＋ｂ（０≦ｘ≦Ｘｔｈ）  ・・・（１）
ｙ＝α＊ｌｏｇ（ｘ）＋β（ｘ＞Ｘｔｈ）  ・・・（２）
【００４２】
特性変換部６２は、ここでは、ログ特性３０２を、リニア特性３０１と同じ特性であるリニア特性３０４に変換する処理を行う。この場合、撮像センサ３の画素値をｉとすると、当該特性統一処理により得られる、リニア特性３０１及びリニア特性３０４からなる光電変換特性を有する画像（符号３１０に示す画像Ｉｔ）は、下記の（３）式に基づく変換によって与えられる。但し、式中の記号「／」は除算を示す（以下も同じ）。
ｉｆ（ｉ＞Ｙｔｈ）
Ｉｔ＝ａ＊ｅｘｐ（（ｉ−β）／α）＋ｂ
ｅｌｓｅ
Ｉｔ＝ｉ              ・・・（３）
【００４３】
なお、特性変換部６２は、上記ログ特性３０２からリニア特性３０４への変換を、所定のＬＵＴ（変換ＬＵＴという）を用いて行う。この変換ＬＵＴは例えば特性変換部６２に備えたＬＵＴ記憶部（図示略）に記憶しておいてもよい。
【００４４】
照明成分抽出部６３は、上記特性統一処理により得られた画像Ｉｔ（リニア画像）から照明成分を抽出するものである。この画像Ｉｔは、所謂Ｒｅｔｉｎｅｘ理論によれば、該画像Ｉｔにおける照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の(４)式で表される。なお、画像Ｉｔに示す直線グラフを、該画像Ｉｔから抽出した照明成分Ｌを表すものとして適宜扱うものとする。
Ｉｔ＝Ｌ＊Ｒ  ・・・（４）
【００４５】
この画像Ｉｔからの照明成分Ｌの抽出処理は、メディアンフィルタやイプシロン（ε）フィルタ等の所謂エッジ維持フィルタ（非線形フィルタ）を用いて行われる。これは以下の(５)式で表される。
Ｌ＝Ｆ（Ｉｔ）  ・・・(５)
但し、(５)式中の“Ｆ”は、上記エッジ維持フィルタを示している。なお、狭義での単に低周波成分を通過させる通常のＬＰＦ（ローパスフィルタ；線形フィルタ）では、画像の照明境界（エッジ）においてその変化を正確に抽出することができないため、すなわち、線形フィルタを用いて抽出した信号に基づいてＤＲ圧縮を行うと例えばアーティファクト（画像の暗く沈んだ部分）が出現してしまうため、このような問題を回避してエッジを正確に抽出することが可能なエッジ維持フィルタを用いている。
【００４６】
圧縮開始点設定部６４は、上記画像Ｔｔから抽出した照明成分Ｌに対する圧縮処理を行うに際しての、符号３０５に示す圧縮開始点Ｓ、具体的には圧縮開始レベルＹｓを設定する（入力輝度で見た場合の圧縮開始レベルＸｓを設定してもよい）ものである。この場合、圧縮開始レベルＹｓは、上記の平均輝度等で与えられる主被写体輝度以上の値となるように設定する。この主被写体輝度以上の値となる圧縮開始レベルＹｓを設定する方法としては、例えば、主被写体輝度の値を所定数倍した値を圧縮開始レベルＹｓとしてもよい。この所定数倍の具体的な値（倍率）は、例えば主被写体が人の顔となるような場合には、ガンマ補正を行うと適正な明るさが得られるレベルとなる２〜３倍程度、或いは主被写体が風景となるような場合には２倍程度としてもよい。但し、倍率はこれらに限定されず、任意な値が採用可能である。また、この倍率は、予め想定した被写体に応じて算出された１つの固定値として設定してもよいし、被写体に応じてその都度、異なるものを設定してもよい。この場合、例えば、ユーザによる操作部１０からの指示入力に基づいて複数の固定値から選択されたものを設定してもよいし、上記主被写体輝度取得部６１において測光結果から求めた主被写体輝度の値に応じて複数の固定値から自動的に選択されたものを設定してもよいし、また、当該測光結果や撮影倍率（焦点距離）から求められる撮影モード（例えば「ポートレート（人物）」モードや「風景」モード）により同定された主被写体の種類に応じて設定してもよい。いずれにしても、圧縮開始レベルＹｓは、主被写体（被写体）の種別や輝度情報に応じて適宜設定し、且つ主被写体輝度レベル（又はこの直近レベル）ではなく、主被写体輝度から所定値高いレベルに設定することが好ましく、これにより、各種被写体の違いに拘わらず、ＤＲ圧縮による主被写体への影響をより確実に防ぐことが可能となる。
【００４７】
また、主被写体輝度以上の値となる圧縮開始レベルＹｓを設定する方法としては、上述したものに限定されず、例えば、主被写体及び／又は周辺被写体の輝度情報に基づく所定の輝度ヒストグラム（以降、単に「ヒストグラム」という）を算出し、主被写体輝度以上の領域における所定レベル、例えば度数の少ない輝度値（輝度レベル）を圧縮開始レベルＹｓとして設定してもよい。具体的には、ヒストグラムが例えば所謂「山」の形状をしており、この山の頂点付近が主被写体輝度であるとすると、このヒストグラムにおける主被写体輝度以上の度数が小さくなっている山裾の位置辺りを圧縮開始レベルとするように設定する。このように度数の少ない輝度値を圧縮開始レベルＹｓとして圧縮を行うことにより（ヒストグラムにおける度数の大きな部分に対する圧縮を回避できるため）、階調特性の変化を目立たなくすることができる。なお、このヒストグラムに基づく圧縮開始レベルＹｓの設定は、撮像センサ３によって撮影画像が得られる都度行われてもよい。
【００４８】
また、撮像センサが本実施形態に示すようにリニアログセンサである場合、圧縮開始レベルＹｓを、例えばＹｓ＝Ｙｔｈ＊Ｐ（Ｐ；１より小さい所定の倍数値）として求めるなどして、変曲点レベルＹｔｈと連動させた値を設定してもよい。これは、変曲点レベルＹｔｈが、デジタルカメラ１による自動露出制御（ＡＥ制御）が行われる段階で、つまりここでの覆い焼き処理が行われる前段階で、主被写体輝度レベルよりも大きな値に設定されていることによる。なお、上記ＡＥ制御は、画像処理部６において撮影画像から求めたＡＥ制御用の評価値（ＡＥ評価値）を用いて行われる。上記いずれにしても、要は、主被写体輝度がＤＲ圧縮されて主被写体の階調がつぶれてしまわないようなレベルに圧縮開始レベルＹｓが設定されればよい。
【００４９】
反射率成分算出部６５は、画像Ｉｔから反射率成分Ｒを算出（抽出）するものである。この反射率成分Ｒは、上記照明成分Ｌを用いて以下の（６）式によって算出される。
Ｒ＝Ｉｔ／Ｌ  ・・・（６）（上記（４）式から導出）
【００５０】
高輝度領域反射率算出部６６は、反射率成分算出部６５により算出した反射率成分Ｒから高輝度領域（高輝度部分）の反射率Ｒｈｉを算出するものである。具体的には、高輝度領域反射率算出部６６は、反射率成分Ｒのうち、照明成分Ｌの値が所定の閾値ｔｈ（図３参照）以上である高輝度領域における反射率の最大値又は平均値を反射率Ｒｈｉとして算出する。この最大値や平均値は、例えば反射率成分のヒストグラムを作成して該ヒストグラムに基づいて算出する（このヒストグラムでの計算の際、或る閾値で所謂「足切り」を行ってもよい）など、任意な算出方法が採用可能である。また、この平均値も、上記閾値ｔｈ以上の領域の反射率成分全体を単純平均して求めたものでもよいし、これ以外の平均方法によって求めた平均値であってもよい。また、上記閾値ｔｈは、上記従来技術（図９参照）で説明したように、画素値が出力最大値Ｏｍａｘを上回る反射率成分が、該閾値ｔｈ以上の輝度領域における反射率成分に内包され得る値が設定される。この閾値ｔｈは或る固定値として設定してもよいし、撮影画像が得られる都度、所定の設定基準情報に応じて設定してもよい。
【００５１】
最大輝度圧縮点算出部６７は、高輝度領域反射率算出部６６により算出した反射率Ｒｈｉに基づいて、符号３０６に示す最大輝度圧縮点Ｍ’を算出（設定）するものである。この最大輝度圧縮点Ｍ’は、後述の照明成分圧縮部６８によるＤＲ圧縮後、高輝度領域の反射率成分Ｒが出力最大値Ｏｍａｘより大きな値とならないように設定される、すなわち、０（ゼロ）〜Ｙｍａｘ（リニア特性最大値）のダイナミックレンジをもつ照明成分Ｌが、ＤＲ圧縮によって０（ゼロ）〜Ｌ’ｍａｘのダイナミックレンジに収まるように設定される最大輝度Ｘｍａｘの照明圧縮レベルＬ’ｍａｘを示す点（Ｘｍａｘ、Ｌ’ｍａｘ）である。具体的には、最大輝度圧縮点算出部６７は、Ｌ’ｍａｘの値を、反射率Ｒｈｉ及び出力最大値Ｏｍａｘから以下の（７．３）式によって算出する。但し、（７．３）式は、後述する画像Ｉ’がＯｍａｘ以下の値であることに基づく（７．１）式、及びこの（７．１）式における画像Ｉ’が照明成分Ｌ’ｍａｘと反射率Ｒｈｉとの乗算値であることに基づく（７．２）式から導かれる。
Ｉ’≦Ｏｍａｘ  ・・・（７．１）
Ｌ’ｍａｘ＊Ｒｈｉ≦Ｏｍａｘ  ・・・（７．２）
Ｌ’ｍａｘ≦Ｏｍａｘ／Ｒｈｉ  ・・・（７．３）
【００５２】
ヒストグラム演算部６８は、撮影画像の輝度情報を基にヒストグラムを作成するとともに、このヒストグラム情報に基づく各種演算を行うものである。具体的には、ヒストグラム演算部６８は、図４の符号４１０に示すグラフのように、撮影画像から抽出された照明成分（照明成分画像）のヒストグラムを作成する（後述のピークヒストグラムに対して、このヒストグラムを全体ヒストグラムという）。そして、この作成した全体ヒストグラムに対して所定の閾値すなわち足切りレベルで足切り（足切り演算）を行うことで、足切りレベル以上のヒストグラム（以降、ピークヒストグラムという）を算出し、さらにこのピークヒストグラムにおけるピーク（ピーク値）を算出する。ここでは、図４の符号４２０に示すグラフのように、符号４１０に示す全体ヒストグラムにおけるピークヒストグラムが、輝度Ａを有する被写体Ａに対応するピークヒストグラム４１１及び輝度Ｂを有する被写体Ｂに対応するピークヒストグラム４１２の２つ得られており、これらピークヒストグラム４１１、４１２のピークがそれぞれピークＰ１、Ｐ２となっている。
【００５３】
被写体輝度エリア設定部６９は、上記ヒストグラム演算部６８によって算出したピークヒストグラム情報又はピーク情報に基づいて、所定輝度範囲（所定領域）を被写体輝度エリアとして設定するものである。ここでは、符号４２０のグラフに示すように、ピークＰ１、Ｐ２を中心とした（ピークＰ１、Ｐ２近傍位置を中心としてもよい）被写体輝度エリアＡ１、Ａ２を設定している。当該被写体輝度エリアの設定は、このピークＰ１、Ｐ２のようなピーク位置又はピーク近傍位置の輝度について標準偏差σを求め、±Ｎσ（Ｎ＞０の値、例えば３）の幅を被写体輝度エリアとする方法で設定してもよいし、また、ピーク位置又はピーク近傍位置からプラス及びマイナス方向に所定輝度値分だけ大きな輝度範囲を被写体輝度エリアとする方法で設定してもよい。この所定輝度値分の大きさは、例えばピーク輝度やピークヒストグラムの総度数から算出したものであってもよい。いずれにしても、ピークヒストグラム情報又はピーク情報に対応した所要の被写体輝度エリアが得られるのであれば、任意の設定方法が採用可能である。なお、各被写体輝度エリアは、互いに隣接したものとなってもよく（被写体輝度エリア同士の間隔が狭くてもよく）、換言すれば、上記各ピークヒストグラムは、互いに隣接したものであってもよく、この場合、圧縮特性の設定に際して、例えば被写体輝度エリア感の例えば後述の符号３１２に示す圧縮特性部が急傾斜となってもよい。
【００５４】
但し、上記足切りレベル以上のピークヒストグラムが無い又は１つの場合（２つ以上でない場合）、或いは、ヒストグラムが一様に分布している（度数に偏りが生じていない）ことなどから明確なピークが得られない場合には、当該被写体輝度エリアを設定して行うＤＲ圧縮でなく、符号３２０に示す圧縮特性に基づくＤＲ圧縮を行う。これは、ピークの存在しない画像は、元来メリハリの無い画像であるため、当該被写体輝度エリアを設定して行うＤＲ圧縮は不要とされることによる。なお、上記明確なピークであるか否かの判別は、例えば所定のピークヒストグラムパターン情報（ピークヒストグラムの山形状の情報）を記憶しておき、この情報と比較することで行ってもよい。また、例えば１つのピークヒストグラムに複数のピークが存在する場合、これらピーク値の例えば平均値を算出し、この平均ピーク値を、このピークヒストグラムを代表する１つのピークとして算出する構成としてもよい。
【００５５】
照明成分圧縮部７０は、照明成分抽出部６３により画像Ｉｔから抽出された照明成分Ｌに対するＤＲ圧縮を行うものである。照明成分圧縮部７０は、このＤＲ圧縮において、上記圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’並びに被写体輝度エリアの情報の情報を基に所定の圧縮特性を設定し、この圧縮特性に基づいて該ＤＲ圧縮を行う。ここで、この圧縮特性の設定方法の一例について以下に説明する。
【００５６】
照明成分圧縮部７０は、被写体輝度エリア設定部６９によって設定した被写体輝度エリア（ここでは被写体輝度エリアＡ１、Ａ２とする）の情報を基に、圧縮開始レベルＹｓ以上の領域における圧縮特性を決定する。この場合、図３に示すように、まず各被写体輝度エリアＡ１、Ａ２の圧縮特性の傾きをゼロとし、低輝度側の被写体輝度エリアＡ１、換言すれば圧縮開始点Ｓの輝度値Ｘｓに近い被写体輝度エリアＡ１を、例えば圧縮開始レベルＹｓと同じレベル位置に設定し、一方、高輝度側の被写体輝度エリアＡ２、換言すれば最大輝度圧縮点Ｍ’に近い被写体輝度エリアＡ２を、例えば照明圧縮レベルＬ’ｍａｘと同じレベル位置に設定することで被写体輝度エリアＡ１、Ａ２を所定の圧縮量分だけ離間させた状態とするとともに、圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’間における被写体輝度エリアＡ１、Ａ２以外の残りの符号３１１〜３１３に示す特性部分は、直線で繋いだ状態、すなわち一定の傾きを有した状態となるように圧縮特性を決定する。圧縮特性の設定に際して、このように被写体輝度エリアＡ１、Ａ２を配置することで、少なくとも上記符号３１２の圧縮特性に示す部分の出力分（Ｙｓ及びＬ’ｍａｘ間の出力分）だけ、被写体輝度エリアＡ１、Ａ２間の明度差（輝度差）を生じさせることができる。
【００５７】
このように各被写体輝度エリアのレベル位置は、要は、互いの明度差が得られるようなものであればよく、必ずしも上述したような圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’のレベル位置に限定されず、例えば図９に示す出力レベルゼロからの高さ（以降、レベル高さという）７０１、７０２に示すように、被写体輝度エリアＡ１、Ａ２に応じた任意のレベルに設定してもよい。この場合も、残りの部分は上記と同様、一定の傾きを有するように設定する。なお、このレベル高さの設定は、例えば各被写体輝度エリアのピークＰ１、Ｐ２の輝度値が、それぞれ圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’の輝度値Ｘｓ、Ｘｍａｘからどれくらい離れているかに応じて（例えば離間距離に比例させて）決定してもよい。
【００５８】
また、図１０に示すように、被写体輝度エリアが３つ以上存在する場合には（ここでは被写体輝度エリアＡ１１、Ａ１２、Ａ１３の３つとする）、例えば、圧縮開始点Ｓの輝度値Ｘｓに近い被写体輝度エリアＡ１１を圧縮開始レベルＹｓと同レベルに設定し、最大輝度圧縮点Ｍ’に近い被写体輝度エリアＡ１３を照明圧縮レベルＬ’ｍａｘと同レベルに設定し、その間の被写体輝度エリアＡ１２は、圧縮開始点Ｓ又は最大輝度圧縮点Ｍ’と該被写体輝度エリアＡ１２のピーク値との距離に応じたレベル高さに設定するというように所謂階段状の圧縮特性としてもよい。但し、各被写体輝度エリア間の明度差が好適に得られるのであれば、この設定方法に限定されず、例えば被写体輝度エリアＡ１２を、圧縮開始レベルＹｓ又は照明圧縮レベルＬ’ｍａｘと同レベルに設定してもよいし、被写体輝度エリアＡ１１、Ａ１３を図９の場合と同様、圧縮開始レベルＹｓ、照明圧縮レベルＬ’ｍａｘと同じレベル位置とせずに任意なレベル高さに設定してもよい。なお、この場合も、残りの特性部分は上記と同様、一定の傾きを有するように設定される。
【００５９】
次に、圧縮開始レベルＹｓ未満の領域における圧縮特性を決定する。この圧縮開始レベルＹｓ未満における照明成分Ｌの圧縮特性は、以下の（８)式に示す特性関数で与えられる。
Ｌ’＝ｅｘｐ（ｌｏｇ（Ｌ）＊ｃ）＊ｎ  ・・・（８）
但し、「ｃ」はＤＲ圧縮率、「ｎ」は正規化項である。
この（８）式に示す圧縮特性は、図３における特性グラフ３２０であり、上記符号３１０に示す照明成分ＬをＤＲ圧縮率ｃでＤＲ圧縮した場合に得られるものである。但し、特性グラフ３２０における、圧縮開始レベルＹｓ未満の符号３２１に示す領域が、ここでの圧縮開始レベルＹｓ未満で設定される圧縮特性（圧縮特性３２１）となる。
【００６０】
このＤＲ圧縮によって、上記０〜Ｙｍａｘのダイナミックレンジを有する照明成分Ｌは、Ｏｍａｘ以下の０（ゼロ）〜Ｌ’ｍａｘのダイナミックレンジに収まるような照明成分Ｌ’にＤＲ圧縮される。このＯｍａｘは所定の画像出力系の出力最大値（撮像センサ３の出力最大値又は最大画素値であってもよい）であり、例えば８ビット画像において「２５５」の階調値をとる。上記（８）式に示すＤＲ圧縮後の照明成分を示す関数Ｌ’は、圧縮開始点Ｓ（Ｘｓ、Ｙｓ）と最大輝度圧縮点Ｍ’（Ｘｍａｘ、Ｌ’ｍａｘ）との２点を通過するため、これら点Ｓ及びＭ’の座標値をそれぞれ代入して得られる連立方程式から、（８）式における当該２つの未知数ｃ、ｎを算出することができる。
【００６１】
但し、上記（８）式において、圧縮パラメータ“ｃ”に加え、パラメータ“ｎ”を導入するのは、例えば撮像センサ３の出力画像（撮影画像）が０〜２５５階調のダイナミックレンジ（８ビット画像）を有しており、ＤＲ圧縮後の照明成分Ｌ’が例えば０〜１００の階調となる場合には、これを０〜２５５の階調に合わせるべく「ｎ」の値を例えば２．５とすることで階調値全体を２．５倍するといった調整（照明成分Ｌ’の正規化）を可能にするためである。また、上記（８）式の圧縮特性は、Ｏｍａｘ以下の最大輝度圧縮点Ｍ’（Ｘｍａｘ、Ｌ’ｍａｘ）を通るものであることから、照明成分圧縮部７０は、反射率Ｒｈｉが高いほど圧縮後のレベルＬ’ｍａｘが小さくなる即ち圧縮率が大きくなるようにＤＲ圧縮率を決定し、該決定したＤＲ圧縮率に基づいて照明成分ＬをＤＲ圧縮するものであるとも言える。
【００６２】
照明成分圧縮部７０は、上述のようにして求めた圧縮開始レベルＹｓ以上の符号３３１に示す圧縮特性（圧縮特性３３１）と、圧縮開始レベルＹｓ未満の圧縮特性３２１とからなる圧縮特性３３０を設定し、この圧縮特性３３０に基づいてＤＲ圧縮を行う。
【００６３】
なお、照明成分Ｌに対するＤＲ圧縮において圧縮開始点Ｓを設定するのは、上述したように主被写体輝度がＤＲ圧縮されないようにするためであり、したがって、照明成分圧縮部７０は、照明成分Ｌに対するＤＲ圧縮において上記圧縮特性３２１を有する圧縮特性３３０を用いるものの、照明成分Ｌが圧縮開始レベルＹｓ未満の領域では、当該圧縮特性３３０により得られる照明成分Ｌ’を出力値として用いずに、元画像Ｉを出力値とする処理を行う。
【００６４】
画像生成部７１は、照明成分圧縮部７０によって求めた照明成分Ｌ’と、反射率成分算出部６５によって求めた反射率成分Ｒとから、以下の（９）式によって、元画像Ｉに対する新たな画像Ｉ’（覆い焼き処理後の画像Ｉ’）を生成するものである。
Ｉ’＝Ｌ’＊Ｒ  ・・・（９）
【００６５】
上述のような圧縮特性３３０を基にしたＤＲ圧縮による覆い焼き処理によって、例えば図５に示すように、画像の建物５０１の部分のコントラストを向上させつつ、例えば上記被写体輝度エリアＡ１に対応する空５０２と、被写体輝度エリアＡ２に対応する雲５０３の部分との明度差が小さくなって白飛びなどが生じていない（又は元画像における当該空５０２と雲５０３との明度差が維持されている）、メリハリの利いた自然な（好適な）画像を得ることができるようになる。
【００６６】
図６は、本実施形態におけるデジタルカメラ１による覆い焼き処理に関する動作の一例を示すフローチャートである。先ず特性変換部６２によってリニア特性への特性統一処理が行われて画像Ｉｔが得られる（ステップＳ１）。次に、照明成分抽出部６３によって、エッジ維持フィルタ（非線形フィルタ）処理に基づいて画像Ｉｔから照明成分Ｌが抽出される。但し、この照明成分の抽出処理は画像Ｉｔの全画素に対し同時に行われる（ステップＳ２）。そして、圧縮開始点設定部６４に圧縮開始レベルＹｓが設定されるとともに、照明成分圧縮部６８によって、照明成分Ｌが設定された圧縮開始レベルＹｓ以上であると判別された場合には（ステップＳ３のＹＥＳ）、反射率成分算出部６５によって反射率成分Ｒが算出され（ステップＳ４）、圧縮開始点Ｓ（圧縮開始レベルＹｓ）及び最大輝度圧縮点Ｍ’（照明圧縮レベルＬ’ｍａｘ）、並びに被写体輝度エリア（ここでは２つの被写体輝度エリアＡ１、Ａ２）の情報に基づき設定された圧縮特性に基づいて、上記照明成分ＬがＤＲ圧縮されて照明成分Ｌ’が得られる（ステップＳ５）。このステップＳ５の動作フローについては以下図７にて詳述する。このステップＳ４、５で得られた反射率成分Ｒ及び照明成分Ｌ’とから画像Ｉ’が生成されて出力される（ステップＳ６）。上記ステップＳ３において、照明成分Ｌが圧縮開始レベルＹｓ未満であると判別された場合には（ステップＳ３のＮＯ）、元画像Ｉが選択されて出力される（ステップＳ７）。但し、ステップＳ３〜Ｓ７の動作は、照明成分Ｌの画素毎に（１つの画素に対して）順次実行される。このようにしてステップＳ３〜Ｓ７の処理が全画素に対して完了すれば（ステップＳ８のＹＥＳ）、フロー終了となる。全画素に対して完了していなければ（ステップＳ８のＮＯ）、ステップＳ３に戻って、全画素が完了するまで当該ステップＳ３〜Ｓ７の各処理が繰り返される。
【００６７】
図７は、上記ステップＳ５におけるＤＲ圧縮処理のより詳細な動作の一例を示すフローチャートである。ステップＳ５では先ず、高輝度領域反射率算出部６６によって、反射率成分算出部６５により算出された反射率成分Ｒから高輝度部の反射率Ｒｈｉ（最大値又は平均値）が算出される（ステップＳ２１）。次に、最大輝度圧縮点算出部６７によって、高輝度領域反射率算出部６６により算出された反射率Ｒｈｉに基づいて、最大輝度圧縮点Ｍ’が算出される。具体的には上記（７．３）式を用いて、反射率Ｒｈｉ及び出力最大値Ｏｍａｘから照明圧縮レベルＬ’ｍａｘが算出される（ステップＳ２２）。次に、ヒストグラム演算部６８によって照明成分画像のヒストグラムが作成されて、このヒストグラムからピークヒストグラム４１１、４１２が算出され、被写体輝度エリア設定部６９によって、このピークヒストグラム４１１、４１２のピーク情報等に基づいて被写体輝度エリアＡ１、Ａ２が算出される。そして、照明成分圧縮部７０によって、圧縮開始レベルＹｓ以上の領域においては、各被写体輝度エリアＡ１、Ａ２をそれぞれ圧縮開始レベルＹｓ及び照明圧縮レベルＬ’ｍａｘと同レベルにするなどして所定圧縮量分だけ離間させた状態とし、一方、圧縮開始レベルＹｓ未満の領域は、圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’の２点を通る特性グラフ３２０の一部とした圧縮特性３３０が設定される（ステップＳ２３）。そして、照明成分圧縮部７０によって、この圧縮特性３３０に基づいて照明成分ＬがＤＲ圧縮される（ステップＳ２４）。
【００６８】
以上のように、本実施形態の撮像装置（デジタルカメラ１）によれば、撮像センサ３によって被写体光が撮像され、照明成分抽出部６３によって撮像センサ３にによる撮影画像（元画像Ｉ又は画像Ｉｔ）から照明成分Ｌが抽出され、反射率成分算出部６５によって撮影画像から反射率成分Ｒが抽出（算出）され、圧縮特性設定手段（被写体輝度エリア設定部６９、照明成分圧縮部７０）によって、撮影画像又は照明成分Ｌに対する少なくとも２つの所定の領域（例えば被写体輝度エリアＡ１、Ａ２）が設定されるとともに、当該各領域間の明度差を強調する圧縮特性３３０が設定される。そして、照明成分圧縮部７０によって、上記圧縮特性設定手段により設定された圧縮特性３３０に基づいて上記照明成分抽出部６３により抽出された照明成分Ｌのダイナミックレンジが圧縮され（ＤＲ圧縮され）、画像生成部７１によって、このダイナミックレンジが圧縮された照明成分Ｌ’（圧縮照明成分）と反射率成分Ｒとから新たな画像（画像Ｉ’）が生成される。これにより、撮影画像又は照明成分Ｌに対して設定された少なくとも２つの所定領域間（被写体輝度エリアＡ１、Ａ２間）の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分Ｌのダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。
【００６９】
また、上記圧縮特性設定手段によって、圧縮特性を示す特性ラインの各領域（被写体輝度エリアＡ１、Ａ２）に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分（レベルＹｓ及びＬ’ｍａｘ間の出力分）だけ離間させた状態とする圧縮特性が設定される。このように、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。
【００７０】
また、ヒストグラム演算部６８によって、撮影画像（元画像Ｉ又は画像Ｉｔ）又は照明成分Ｌのヒストグラムが作成され、上記圧縮特性設定手段によって、ヒストグラムにおける輝度上の所定範囲が各領域（被写体輝度エリアＡ１、Ａ２）として設定される。このように、ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成されるヒストグラムを用いて、当該各領域の設定を容易に行うことができる。
【００７１】
また、上記圧縮特性設定手段によって、ヒストグラムのピークが算出され、該ピーク又はピーク近傍位置を中心とした所定範囲が各領域（被写体輝度エリアＡ１、Ａ２）として設定される。このように、ヒストグラムのピーク又はピーク近傍位置を中心とした所定範囲を各領域として設定する方法によって、ヒストグラムを用いた各領域の設定を容易に行うことができる。
【００７２】
また、圧縮開始点設定部６４（第１レベル値設定手段）によって、照明成分Ｌに対する、主被写体の所定輝度値を示す主被写体輝度以上の圧縮開始レベルＹｓ（第１レベル値）が設定され、最大輝度圧縮点算出部６７（第２レベル値設定手段）によって、照明成分Ｌに対する、反射率成分Ｒの高輝度領域における反射率Ｒｈｉに応じた所定の画像出力最大値（出力最大値Ｏｍａｘ）以下の照明圧縮レベルＬ’ｍａｘ（第２レベル値）が設定される。そして、上記圧縮特性設定手段によって、各領域（被写体輝度エリアＡ１、Ａ２）のうちの低輝度側の所定領域（ここでは被写体輝度エリアＡ１）を圧縮開始レベルＹｓと同レベルとし、高輝度側の所定領域（ここでは被写体輝度エリアＡ２）を照明圧縮レベルＬ’ｍａｘと同レベルとする圧縮特性３３０が設定される。このように、各領域のうちの低輝度側の所定領域を圧縮開始レベルＹｓと同レベルとし、高輝度側の所定領域を照明圧縮レベルＬ’ｍａｘと同レベルとする圧縮特性を設定する方法によって、各領域間の明度差が強調される圧縮特性の設定を容易に行うことができるようになる。
【００７３】
また、本実施形態の画像処理方法によれば、第１の工程において、撮像センサ３によって被写体光が撮像され、第２の工程において、照明成分抽出部６３によって撮像センサ３による撮影画像（元画像Ｉ又は画像Ｉｔ）から照明成分Ｌが抽出され、第３の工程において、反射率成分算出部６５によって撮影画像から反射率成分Ｒが抽出（算出）され、第６の工程において、圧縮特性設定手段によって、撮影画像又は照明成分Ｌに対する少なくとも２つの所定の領域（例えば被写体輝度エリアＡ１、Ａ２）が設定されるとともに、当該各領域間の明度差を強調する圧縮特性が設定される。そして、第４の工程において、圧縮手段によって、圧縮特性設定手段により設定された圧縮特性に基づいて上記抽出された照明成分のダイナミックレンジが圧縮され、第５の工程において、画像生成部７１によって、このダイナミックレンジが圧縮された照明成分Ｌ’（圧縮照明成分）と反射率成分Ｒとから新たな画像（画像Ｉ’）が生成される。これにより、撮影画像又は照明成分Ｌに対して設定された少なくとも２つの所定領域間（被写体輝度エリアＡ１、Ａ２間）の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分Ｌのダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。
【００７４】
また、上記第６の工程において、圧縮特性設定手段によって、圧縮特性を示す特性ラインの各領域（被写体輝度エリアＡ１、Ａ２）に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分（レベルＹｓ及びＬ’ｍａｘ間の出力分）だけ離間させた状態とする圧縮特性が設定される。このように、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。
【００７５】
さらに、上記第７の工程において、撮影画像（元画像Ｉ又は画像Ｉｔ）又は照明成分Ｌのヒストグラムがヒストグラム演算部６８によって作成され、第６の工程において、圧縮特性設定手段によって、ヒストグラムにおける輝度上の所定範囲が各領域として設定される。このように、ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成されるヒストグラムを用いて、各領域の設定を容易に行うことができる。
【００７６】
なお、本発明は、以下の態様をとることができる。
（Ａ）上記実施形態においては、被写体輝度エリアが設定される照明成分の圧縮特性の形状は、図３の圧縮特性３３０に示すように階段状、すなわち被写体輝度エリアで傾きゼロ、その他の特性部分は直線で繋いだような形状となっているが、このような形状の圧縮特性に限定されず、例えば図１１に示すように、被写体輝度エリアに相当する部分の傾きが略ゼロ（平坦なグラフとなり）を保った情報で且つ各部が滑らかに接続された曲線状の圧縮特性が設定される構成であってもよい。
【００７７】
（Ｂ）反射率Ｒｈｉは、上記最大値又は平均値に限定されず、高輝度領域の反射率成分が出力最大値Ｏｍａｘを上回らないようにＤＲ圧縮率ｃを設定するのに好適な値であれば、いずれの値であってもよい。
【００７８】
（Ｃ）上記覆い焼き処理において扱われる撮影画像（元画像）は、上記線形／対数画像でなくともよく、例えば、一般的なリニアセンサによる、異なるシャッタスピードや絞り値で撮影して得られた複数枚の画像から作成した広ダイナミックレンジ画像であってもよいし、ニー処理された画像（明るい画像分部（高輝度領域）にだけ所定のゲインをかけて圧縮した画像）であってもよい。
【００７９】
（Ｄ）上記実施形態において、照明成分Ｌ全体をＤＲ圧縮した後、圧縮開始レベルＹｓ未満は元画像Ｉを用いるという方法でなくともよく、例えば当該照明成分Ｌに対するＤＲ圧縮を、圧縮開始レベルＹｓ以上の照明成分Ｌに対してのみ行い（圧縮開始レベルＹｓ未満の照明成分Ｌに対してはＤＲ圧縮を行わず）、圧縮開始レベルＹｓ未満においては、元画像Ｉをそのまま出力値とする方法であってもよい。
【００８０】
（Ｅ）上記実施形態においては、撮影画像に対する覆い焼き処理（ＤＲ圧縮処理）をデジタルカメラ１内（画像処理部６）で行う構成としているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いてデジタルカメラ１と直接接続（有線）又は無線ＬＡＮ等によるネットワーク接続がなされた、或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成されたユーザーインターフェイスを備える所定のホスト（例えばＰＣ（Personal  Computer）やＰＤＡ（Personal Digital Assistant）において当該覆い焼き処理を行う構成としてもよい。
【００８１】
（Ｆ）上記実施形態においては、図４に示すように、先ず撮影画像（全体）又は照明成分（全体）のヒストグラムを算出しておき、各被写体輝度エリアをこのヒストグラムにおける輝度上の所定範囲として設定する構成としているが、例えば図５に示すように、デジタルカメラ１のモニタ部９或いは上記変形態様（Ｅ）に示すホストのモニタ等に撮影画像（又は照明成分画像）を表示し、このモニタ表示された画像における互いに明度差を強調したい箇所の範囲（少なくとも２つの範囲）を、すなわち例えば符号５１１、５１２に示す空画像や雲画像の所定範囲（指定範囲５１１、５１２）を、ユーザがマウスやペン等による所定の入力操作によって画像の空間的な範囲として指定し、この指定範囲の画像情報に基づいて被写体輝度エリアを設定する構成としてもよい。このように、上記圧縮特性設定手段（デジタルカメラ１の被写体輝度エリア設定部６９及び照明成分圧縮部７０、或いは上記ＰＣ等のホスト）によって、撮影画像又は照明成分（照明成分画像）における空間的な範囲が設定されるとともに、この範囲の画像に基づいて被写体輝度エリアが設定されるので、画像における明度差を強調させたい箇所の選択を、ユーザが視覚的（直感的）に容易に行えるようになる。
【００８２】
なお、上記指定範囲の画像に基づく被写体輝度エリアの設定方法は、上記実施形態で述べた撮影画像全体（照明成分全体）の情報を基に被写体輝度エリアを設定する方法と同様、すなわち指定範囲毎に該指定範囲の画像情報を基にヒストグラムを作成し、このヒストグラムから足切り演算によりピークヒストグラムを算出し、さらにこのピークヒストグラムからピークを算出し、該ピーク又はピーク近傍位置を中心とした所定範囲を被写体輝度エリアとして設定する方法であってもよい。この方法の場合、各指定範囲における画像の輝度ヒストグラムの輝度範囲やピークが同じ、或いは輝度範囲に重なり部を生じることがあるが、輝度範囲やピークが同じ（近似している）ものとなる場合は、被写体輝度エリアを設定しない（これら輝度範囲間の明度差を強調しない）通常の圧縮特性を用いたＤＲ圧縮を行い、また、輝度範囲に重なり部を生じるような場合には、この重なり部の影響が無くなるように、例えばピークヒストグラム算出時の足切りレベル（閾値）を調整したり、被写体輝度エリア設定時の範囲を調整することが好ましい。
【図面の簡単な説明】
【００８３】
【図１】本実施形態に係る撮像装置の一例であるデジタルカメラであり、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。
【図２】上記デジタルカメラの画像処理部の各機能を説明するための機能ブロック図である。
【図３】上記画像処理部の階調変換処理による覆い焼き処理（照明成分の圧縮の様子）について説明するためのグラフ図である。
【図４】撮影画像からのヒストグラムの作成及びヒストグラムに基づく被写体輝度エリアの設定について説明するためのグラフ図である。
【図５】上記デジタルカメラによる覆い焼き処理による、撮影画像各部の明度差の変化の様子を説明するための模式図である。
【図６】本実施形態におけるデジタルカメラによる覆い焼き処理に関する動作の一例を示すフローチャートである。
【図７】図６に示すステップＳ５におけるＤＲ圧縮処理のより詳細な動作の一例を示すフローチャートである。
【図８】分割測光に際しての撮像領域（測光範囲）の分割の状態を示す模式図である。
【図９】被写体輝度エリアの設定に関する変形態様を説明するためのグラフ図である。
【図１０】被写体輝度エリアの設定に関する変形態様を説明するためのグラフ図である。
【図１１】被写体輝度エリアの設定に関する変形態様を説明するためのグラフ図である。
【図１２】従来の覆い焼き処理について説明するためのグラフ図である。
【図１３】従来の覆い焼き処理について説明するためのグラフ図である。
【図１４】従来の覆い焼き処理における撮影画像各部の明度差の変化の様子を示す模式図である。
【図１５】従来の覆い焼き処理における照明成分の圧縮の様子を示すグラフ図である。
【符号の説明】
【００８４】
１  デジタルカメラ（撮像装置）
３  撮像センサ（撮像手段）
６  画像処理部
６３  照明成分抽出部（照明成分抽出手段）
６４  圧縮開始点設定部（第１レベル値設定手段）
６５  反射率成分算出部（反射率成分抽出手段）
６６  高輝度領域反射率算出部
６７  最大輝度圧縮点算出部（第２レベル値設定手段）
６８  ヒストグラム演算部（ヒストグラム作成手段）
６９  被写体輝度エリア設定部（圧縮特性設定手段）
７０  照明成分圧縮部（圧縮手段、圧縮特性設定手段）
７１  画像生成部（画像生成手段）
３３０  圧縮特性
５１１、５１２  指定範囲（請求項４記載の空間的な所定範囲）
Ａ１、Ａ２  被写体輝度エリア（請求項１記載の２つの所定の領域、各領域）
Ｙｓ  圧縮開始レベル（第１レベル値）
Ｌ’ｍａｘ  照明圧縮レベル（第２レベル値）
【図１】
2007028088.tif 000003
【図２】
2007028088.tif 000004
【図３】
2007028088.tif 000005
【図４】
2007028088.tif 000006
【図５】
2007028088.tif 000007
【図６】
2007028088.tif 000008
【図７】
2007028088.tif 000009
【図８】
2007028088.tif 000010
【図９】
2007028088.tif 000011
【図１０】
2007028088.tif 000012
【図１１】
2007028088.tif 000013
【図１２】
2007028088.tif 000014
【図１３】
2007028088.tif 000015
【図１４】
2007028088.tif 000016
【図１５】
2007028088.tif 000017