(57)【要約】      （修正有）【課題】入力画像の輝度情報を変換して階調特性の異なる出力画像を生成するのに好適な画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器を提供する。【解決手段】撮像システムを、ＨＤＲ撮像装置と画像処理装置２０とを含む構成とし、画像処理装置２０を、カラーＨＤＲ画像データに基づき輝度画像データＹ及び照明成分データＬを生成する照明成分変換部２０ａと、輝度画像データＹの平均輝度ＡＶＥと輝度の閾値とに基づき画像の明るさに応じたゲイン係数ｋのリミット値ｌｉｍを決定するリミット制御部２０ｂと、照明成分データＬから圧縮照明成分データＬ’を算出し、ＬとＬ’とに基づきゲイン係数ｋを算出すると共に算出したｋがｌｉｍを越えていた場合に、ゲイン係数ｋをｌｉｍに設定する係数計算部２０ｃと、ゲイン係数ｋに基づきカラーＨＤＲ画像データのダイナミックレンジを圧縮するレンジ圧縮部２０ｄとを含む構成とした。【選択図】図３
2011100204.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の輝度を変換して階調特性の異なる出力画像を生成する画像変換手段を備え、
前記画像変換手段は、前記入力画像の輝度が低いほど該輝度を変換するゲインを高くする変換特性を有すると共に、前記ゲインに上限を設け、該上限を可変としたことを特徴とする画像処理装置。
【請求項２】
前記画像変換手段は、前記入力画像の輝度を変換して、前記入力画像のダイナミックレンジを圧縮した出力画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像変換手段は、前記入力画像の輝度が、設定された輝度の閾値よりも低輝度であるときに、前記上限を上昇させ、前記輝度の閾値よりも高輝度であるときに、前記上限を低下させることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像変換手段は、前記入力画像の平均輝度に応じて、前記上限を変化させることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像変換手段は、前記出力画像が、入射光量の電気信号への変換方式の異なる複数種類の撮像素子のいずれか１種類の撮像素子で変換時の画像特性を有するように、前記上限を変化させることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
入力画像の輝度を変換して階調特性の異なる出力画像を生成する画像変換ステップを含み、
前記画像変換ステップにおいては、前記入力画像の輝度が低いほど該輝度を変換するゲインを高くすると共に、前記ゲインに上限を設け、該上限を可変とする変換処理を行うことを特徴とする画像処理方法。
【請求項７】
入力画像の輝度を変換して階調特性の異なる出力画像を生成する画像変換ステップを有する処理をコンピューターに実行させるための画像処理プログラムを含み、
前記画像変換ステップにおいては、前記入力画像の輝度が低いほど該輝度を変換するゲインを高くすると共に、前記ゲインに上限を設け、該上限を可変とする変換処理を行うことを特徴とする画像処理プログラム。
【請求項８】
被写体を撮像する撮像手段と、
請求項１乃至請求項５のいずれか１項に記載の画像処理装置とを備え、
前記画像処理装置は、前記撮像手段で撮像して得た撮像画像を前記入力画像として変換処理を行うことを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置を備えることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の輝度を変換して階調特性の異なる出力画像を生成するのに好適な画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器等に関する。
【背景技術】
【０００２】
従来、入力画像の輝度情報を変換して、入力画像のダイナミックレンジを圧縮する手法として、人間の視覚特性を考慮したretinex理論に基づいた手法が多く発表されている。例えば、非特許文献１では、「目に入る光像は照明成分と反射成分の積で表されるが、視覚に強い相関を示すのは反射成分である」と実験から結論付けている。この理論に基づき、ダイナミックレンジを圧縮する際は画像の反射成分を保存し照明成分をのみを圧縮することで、画質劣化を防ぎつつ画像のダイナミックレンジを圧縮する方法が提案されている。
つまり、元画像の輝度成分をＩ、照明成分をＬ、反射成分をＲとした場合に、これらの関係は、下式（１）で表すことができる。
Ｉ＝Ｌ×Ｒ                                                        ・・・（１）
【０００３】
例えば、特許文献１では、照明成分Ｌを圧縮したＬ’を下式（２）から求め、下式（３）に示すように、求めたＬ’を反射成分Ｒに掛けることで、圧縮後の画像の輝度成分Ｉ’を求めている。
Ｌ’＝ｅｘｐ（ｌｏｇ（Ｌ）×ｃ）×ｎ                              ・・・（２）
Ｉ’＝Ｌ’×Ｒ                                                    ・・・（３）
上式（２）において、ｃ，ｎは係数である。
照明成分Ｌを推定する方法として、元画像の輝度成分Ｉにローパスフィルタ（例えば、ガウスフィルタ）を掛けたもの「Ｌ＝ＬＰＦ（Ｉ）」を照明成分Ｌとし、このＬを用いて反射成分Ｒ（Ｒ＝Ｉ／Ｌ）を求めている。なお、これらの式を変形すると下式（４）と表すことができる。
Ｉ’＝Ｉ×（Ｌ’／Ｌ）                                            ・・・（４）
つまり、ダイナミックレンジを圧縮した画像の輝度成分Ｉ’は、元画像の輝度成分Ｉに、照明成分の変化量「Ｌ’／Ｌ」を係数として掛けたものと表現することができる。
【０００４】
また、特許文献２では、「Ｉ→Ｉｄ→ｆ（Ｉｄ）→Ａｄ→Ａｄｂ→Ｏ」のステップで、入力画像の輝度成分Ｉを出力画像の輝度成分Ｏへと変換している。
ここで、ＩｄはＩを非線形空間処理したものであり、ｆ（Ｉｄ）はＩｄにダイナミックレンジ圧縮処理を施したもの、Ａｄは、ｆ（Ｉｄ）をＩｄで除算したもの（Ａｄ＝ｆ（Ｉｄ）／Ｉｄ）である。更に、ＡｄｂはＡｄにぼかし処理を施したものであり、出力画像の輝度成分Ｏは、カラー画像（ＲＧＢ）の場合に下式（５）で表現される。
Ｒｏ＝ＡｄｂＲｉ
Ｇｏ＝ＡｄｂＧｉ
Ｂｏ＝ＡｄｂＢｉ                                                ・・・（５）
【０００５】
また、Ｉｄは、下式（６）に示すように、ｌｏｇの形式で表現することができる。
Ｉｄ＝ｌｏｇ（ＬＰＦ（ｅｘｐ（μ・Ｉ）））／μ                  ・・・（６）
上記従来技術に見られるように、ダイナミックレンジの圧縮においては、ｌｏｇ特性を用いることが多い。これは、人間の視覚特性がｌｏｇ特性に近い（明るさの物理量が１０倍になると、感覚量としては２倍に感じる）ためで、ハイライト部分を感覚量に合わせて圧縮することで、見た目的に自然なダイナミックレンジ圧縮が可能となる。
【０００６】
また、先述したように、ハイダイナミックレンジ画像の圧縮は、最終的には、上式（４）や（５）のように元画像の輝度成分Ｉに係数を乗算する形に変形することができる。このとき、係数をｋとして、ｋはｌｏｇ特性を含んだものとなる。例えば、ダイナミックレンジＡの輝度成分Ｉ（画素値Ｉ）をダイナミックレンジＢの画像（画素値Ｏ＝Ｉ×ｋ）に圧縮する場合に、処理を単純化すると係数ｋは「ｋ＝Ｌ’／Ｌ」と表現することができる。但し、Ｌ’は、「Ｌ’＝Ｂ／Ａ×ｌｏｇ（Ｌ）」から求め、Ｌは画素値Ｉから推定した照明成分であるとする。これにより、Ｌ’とＬとは、図７（ａ）に示すような関係となる。
一方、係数ｋは、図７（ｂ）に示すように、明るい側では定数、暗い側では大きな値をとる急峻な特性を有する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３５２８２５号公報
【特許文献２】特開２００８−５１１０４８号公報
【非特許文献１】E.H.Land,J.J.McCann,"Lightness and retinex theory",journal of the Optical Society of America,61(1),1(1971)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来技術におけるダイナミンクレンジの圧縮手法においては、例えば、図７（ｂ）に示すように、元画像の輝度（Ａ）が低い（暗い）ほど係数（ゲインｋ）が大きくなる。そのため、低階調部での差異が小さくなり、暗い側のコントラストが低下するといった問題が生じる恐れがあった。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、入力画像の輝度情報を変換して階調特性の異なる出力画像を生成するのに好適な画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器を提供できる。
【課題を解決するための手段】
【０００９】
〔形態１〕  上記目的を達成するために、形態１の画像処理装置は、
入力画像の輝度を変換して階調特性の異なる出力画像を生成する画像変換手段を備え、
前記画像変換手段は、前記入力画像の輝度が低いほど該輝度を変換するゲインを高くする変換特性を有すると共に、前記ゲインに上限を設け、該上限を可変とした。
このような構成であれば、画像変換手段は、入力画像の輝度を変換するときに、入力画像の輝度が低ければ低いほど、該輝度を変換するためのゲインを、設定した上限値まで高くすることができる。
これにより、ゲインの上限値を適切に設定することで、入力画像の輝度を変換後の出力画像における低階調部分のコントラストの低下による画質劣化を低減することができるという効果が得られる。
【００１０】
また、入力画像の特性や所望する出力画像の特性などに応じて、ゲインの上限を変更することができる。
これにより、コントラストの低下による画質劣化を低減しつつ、所望の画質特性を有する出力画像を得ることができるという効果も得られる。
ここで、輝度の変換は、一画素の単位で行ってもよいし、特定位置の複数画素の単位で行ってもよい。例えば、複数画素の場合は、平均輝度を求めて、該平均輝度に応じたゲインの上限を設定し、該上限に従って、輝度の変換を行う。
【００１１】
〔形態２〕  更に、形態２の画像処理装置は、形態１の画像処理装置において、
前記画像変換手段は、前記入力画像の輝度を変換して、前記入力画像のダイナミックレンジを圧縮した出力画像を生成する。
このような構成であれば、画像変換手段は、例えば、入力画像がハイダイナミックレンジの画像である場合に、該入力画像の輝度を、表示装置などの出力装置の出力可能な階調範囲に合わせて変換し、入力画像のダイナミックレンジをこれより低いレンジへと圧縮した出力画像を生成することができる。
【００１２】
〔形態３〕  更に、形態３の画像処理装置は、形態１又は２の画像処理装置において、
前記画像変換手段は、前記入力画像の輝度が、設定された輝度の閾値よりも低輝度であるときに、前記上限を上昇させ、前記輝度の閾値よりも高輝度であるときに、前記上限を低下させる。
このような構成であれば、入力画像の輝度が、比較的低輝度の場合はゲインの上限を上昇させ、比較的高輝度の場合はゲインの上限を低下させることができる。
【００１３】
これによって、暗い画像については、変換後の輝度が低くなりすぎないようにゲインの上限を調整することができる。従って、入力画像の低輝度部分が明るくなりすぎないように制限をかけつつも、必要な明るさを確保した画像を生成することができるという効果が得られる。また、明るい画像については、暗い画像の場合と比較して、変換後の輝度が高くなりすぎないようにゲインの上限を調整することができる。従って、入力画像の低輝度部分が明るくなりすぎないように制限をかけつつも、黒浮きのないメリハリの効いた画像を生成することができるという効果が得られる。
【００１４】
〔形態４〕  更に、形態４の画像処理装置は、形態１乃至３のいずれか１の画像処理装置において、
前記画像変換手段は、前記入力画像の平均輝度に応じて、前記上限を変化させる。
このような構成であれば、入力画像を構成する各画素の輝度を平均した平均輝度に応じて、上限を変化させることができるので、例えば、比較的暗い場所で被写体を撮像して得られた入力画像と、比較的明るい場所で被写体を撮像して得られた入力画像とを容易に判別することができる。そして、例えば、比較的暗い場所で撮像して得られた入力画像に対しては、ゲインの上限を低下させ、比較的明るい場所で撮像して得られた入力画像に対しては、ゲインの上限を上昇させることができる。
これによって、入力画像の明るさに対応した上限の設定を容易に行うことができるという効果が得られる。
【００１５】
〔形態５〕  更に、形態５の画像処理装置は、形態１乃至４のいずれか１の画像処理装置において、
前記画像変換手段は、前記出力画像が、入射光量の電気信号への変換方式の異なる複数種類の撮像素子のいずれか１種類の撮像素子で変換時の画像特性を有するように、前記上限を変化させる。
このような構成であれば、画像変換手段は、入力画像が撮像装置において撮像された撮像画像などである場合に、出力画像が、各種撮像素子の変換方式によって異なる画像特性を有するように、ゲインの上限を変化させることができる。
これによって、入力画像を、所望の撮像素子の画質特性を有する出力画像へと変換することができるという効果が得られる。
【００１６】
ここで、撮像素子には、例えば、入射光量に応じて電気信号が線形的に変換されて出力されるようにした線形変換型撮像素子（以下、リニアセンサと称す）がある。また、センサの出力特性を入射光量に対して電気信号が対数的に変換されて出力されるようにした対数変換型撮像素子（以下、ログセンサと称す）がある。また、リニアセンサの動作状態である線形動作状態と、ログセンサの動作状態である対数動作状態とを自動的に切り替えることが可能な線形対数変換型撮像素子（以下、リニアログセンサと言う）がある。
【００１７】
〔形態６〕  一方、上記目的を達成するために、形態６の画像処理方法は、
入力画像の輝度を変換して階調特性の異なる出力画像を生成する画像変換ステップを含み、
前記画像変換ステップにおいては、前記入力画像の輝度が低いほど該輝度を変換するゲインを高くすると共に、前記ゲインに上限を設け、該上限を可変とする変換処理を行う。
これにより、形態１の画像処理装置と同等の作用及び効果が得られる。
【００１８】
〔形態７〕  また、上記目的を達成するために、形態７の画像処理プログラムは、
入力画像の輝度を変換して階調特性の異なる出力画像を生成する画像変換ステップを有する処理をコンピューターに実行させるための画像処理プログラムを含み、
前記画像変換ステップにおいては、前記入力画像の輝度が低いほど該輝度を変換するゲインを高くすると共に、前記ゲインに上限を設け、該上限を可変とする変換処理を行う。
このような構成であれば、コンピューターによってプログラムが実行されると、形態１に記載の画像処理装置と同等の作用及び効果を得ることができる。
【００１９】
〔形態８〕  また、上記目的を達成するために、形態８の撮像装置は、
被写体を撮像する撮像手段と、
形態１乃至５のいずれか１に記載の画像処理装置とを備え、
前記画像処理装置は、前記撮像手段で撮像して得た撮像画像を前記入力画像として変換処理を行う。
このような構成であれば、形態１乃至５に記載の画像処理装置と同等の作用及び効果が得られる。
〔形態９〕  また、上記目的を達成するために、形態９の電子機器は、
形態８に記載の撮像装置を備える。
このような構成であれば、形態８に記載の撮像装置と同等の作用及び効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る撮像システム１の構成を示すブロック図である。
【図２】ＨＤＲ撮像装置１０の構成を示すブロック図である。
【図３】画像処理装置２０の構成を示すブロック図である。
【図４】画像処理装置２０におけるレンジ変換処理を示すフローチャートである。
【図５】（ａ）は、カラーＨＤＲ画像データＩの平均輝度ＡＶＥと、ゲイン係数ｋのリミット値ｌｉｍとの関係の一例を示す図であり、（ｂ）は、ゲイン係数ｋと、照明成分データＬとの関係の一例を示す図である。
【図６】（ａ）及び（ｂ）は、リミット値ｌｉｍを「５」及び「０．２５」に設定したときの、カラーＨＤＲ画像データＩの輝度と、カラーＬＤＲ画像データＯの輝度との関係の一例を示す図である。
【図７】（ａ）は、画像データにおける照明成分と圧縮後の照明成分との関係の一例を示す図であり、（ｂ）は、照明成分と輝度変換用のゲイン係数ｋとの関係の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面に基づき説明する。図１〜図６は、本発明に係る撮像装置、撮像方法及び電子機器の実施形態を示す図である。
まず、本発明に係る撮像システムの構成を図１〜図３に基づき説明する。図１は、本発明に係る撮像システム１の構成を示すブロック図である。また、図２（ａ）は、ＨＤＲ撮像装置１０の内部構成を示すブロック図であり、（ｂ）は、撮像素子１１の内部構成を示す模式図であり、（ｃ）は、画像合成部１５の内部構成を示すブロック図である。また、図３は、画像処理装置２０の内部構成を示すブロック図である。
【００２２】
撮像システム１は、図１に示すように、ＨＤＲ撮像装置１０と、画像処理装置２０とを含んで構成される。
ＨＤＲ撮像装置１０は、図２（ａ）に示すように、撮像素子１１と、メモリ１２〜１４と、画像合成部１５とを含んで構成される。
撮像素子１１は、３種類以上の露光量で被写体を撮像する機能を有し、図２（ｂ）に示すように、レンズ１１ａと、マイクロレンズ１１ｂと、カラーフィルタアレイ１１ｃと、ＨＤＲセンサ１１ｄとを含んで構成される。
【００２３】
以下、説明の便宜上、撮像素子１１は、３種類の露光量Ｌ１、Ｌ２、Ｌ３（Ｌ１＜Ｌ２＜Ｌ３）に対応する露光時間Ｔ１、Ｔ２、Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で撮像を行うものとして構成を説明する。
レンズ１１ａは、被写体からの反射光を集光して、マイクロレンズへと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
【００２４】
マイクロレンズ１１ｂは、レンズを透過した光をＨＤＲセンサの有するセンサセルアレイの各センサセル（画素）に集光するものである。
カラーフィルタアレイ１１ｃは、マイクロレンズ１１ｂを透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものである。
【００２５】
ＨＤＲセンサ１１ｄは、電子シャッタ方式によって露光時間Ｔ１〜Ｔ３を制御して露光量の異なる３種類のデジタルの画像データを出力するものである。
具体的に、ＨＤＲセンサ１１ｄは、図示しないが、基準タイミング発生器と、走査ラインスキャナと、センサセルアレイと、水平転送部とを含んで構成される。
基準タイミング発生器は、垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生し、これを走査ラインスキャナに出力する。
【００２６】
走査ラインスキャナは、基準タイミング発生器からの各種信号に基づき、リセット処理を行うラインを有効にするリセットライン選択信号を生成する。そして、該生成したリセットライン選択信号をセンサセルアレイに出力する。
更に、走査ラインスキャナは、リセット後で且つ設定された露光時間の電荷の蓄積が行われたラインを画素信号の読出ラインとして有効にする読出しライン選択信号を生成する。そして、該生成した読出ライン選択信号をセンサセルアレイに出力する。
【００２７】
センサセルアレイは、ＣＭＯＳ技術を用いて構成された、受光素子（フォトダイオードなど）を含む複数のセンサセル（画素）が２次元マトリクス状に配設された構成の受光領域を備え、各画素のラインに対して、アドレス線、リセット線及び読出し線が共通に接続された構成を有している。そして、前記３つの制御線を介して各種駆動信号（選択信号）が各ラインを構成するセンサセルに送信され、アドレス線及び読出し線が有効になると、信号線を介して蓄積電荷（画素信号）を水平転送部に転送（出力）する。
【００２８】
水平転送部は、センサセルアレイの各画素から読み出された画素信号（アナログ信号）のデータをＡ／Ｄ変換して、ライン単位にメモリ１２〜１４へとシリアルで順次出力する。
メモリ１２〜１４は、撮像素子１１において、異なる複数の露光時間Ｔ１〜Ｔ３で被写体を撮像して得られた３種類の露光量Ｌ１〜Ｌ３に対応する画像データを一時記憶し、同期をとって画像合成部１５に出力するバッファとしての役割を果たすものである。
【００２９】
画像合成部１５は、図２（ｂ）に示すように、ＨＤＲ信号処理部１５ａと、フレームメモリ１５ｂとを含んで構成される。
ＨＤＲ信号処理部１５ａは、図示しないが、プリプロセス部と、合成処理部と、色処理部と、メモリインターフェース（以下、メモリＩＦと称す）とを含んで構成される。
プリプロセス部は、メモリ１２〜１４からの画素信号（デジタルの画素データＳ１〜Ｓ３）に対して、固定パターンノイズの除去処理、クランプ処理などを行う。
【００３０】
合成処理部は、メモリ１２〜１４からの画像データと露光比の情報とに基づき、ＨＤＲ合成処理を行う。そして、ＨＤＲ合成処理後の画像データをＨＤＲ画像データとして、メモリＩＦを介してフレームメモリ１５ｂに格納する。
色処理部は、合成して得られたＨＤＲ画素データ（処理すべき画素の画素データ）と、処理すべき画素の周辺のＨＤＲ画素データとを用いて色補間処理を行う。すなわち、画像の各点について、ＲＧＢ色空間に規定される色信号（データ）を生成する処理（色信号処理）を行う。具体的に、色処理部は、色補間処理によって、ＨＤＲ画素データを、画素毎に、ＲＧＢの各色要素にそれぞれ対応するカラーＨＤＲ画素データに変換する。なお、１フレーム分のカラーＨＤＲ画素データからカラーＨＤＲ画像データが構成される。
【００３１】
メモリＩＦは、フレームメモリ１５ｂに対するデータの書き込み及びデータの読み出しを調停する機能を有している。具体的に、プリプロセス部、合成処理部、色処理部からの、データの読出要求及び書込要求に応じて、正常に読み書きが行われるように、これらの調停を行う。そして、各構成部からの要求に応じた、フレームメモリ１５ｂからのデータの読み出し処理、及びフレームメモリ１５ｂへのデータの書き込み処理を実行する。
フレームメモリ１５ｂは、ＨＤＲ信号処理部１５ａにおいて合成後のカラーＨＤＲ画像データを構成する各カラーＨＤＲ画素データを各画素位置に対応するアドレス領域にフレーム単位（１画像単位）で記憶するメモリである。
【００３２】
次に、図３に基づき、画像処理装置２０の内部構成について説明する。
図３に示すように、画像処理装置２０は、照明成分変換部２０ａと、リミット制御部２０ｂと、係数計算部２０ｃと、レンジ圧縮部２０ｄと、逆ガンマ処理部２０ｅと、保存部２０ｆとを含んで構成される。
【００３３】
照明成分変換部２０ａは、ＨＤＲ撮像装置１０から入力されたカラーＨＤＲ画像データを構成する赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に対応するカラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ、ｙ）、Ｉｂ（ｘ、ｙ）を、輝度画素データＹ（ｘ，ｙ）へと変換する機能を有している。なお、１画像分の輝度画素データＹ（ｘ，ｙ）から輝度画像データＹが構成される。また、（ｘ，ｙ）は、画素の位置を示す二次元座標である。例えば、画像の左上を原点（ｘ，ｙ）＝（０，０）とした座標となる。
【００３４】
本実施形態において、照明成分変換部２０ａは、下式（７）に従って、カラーＨＤＲ画像データＩの各カラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ、ｙ）、Ｉｂ（ｘ、ｙ）を、輝度画素データＹ（ｘ，ｙ）へと変換する。
Ｙ（ｘ，ｙ）＝０．３×Ｉｒ（ｘ，ｙ）＋０．６×Ｉｇ（ｘ，ｙ）＋０．１×Ｉｂ（ｘ，ｙ）                                                         ・・・（７）
更に、照明成分変換部２０ａは、輝度画像データＹに対してぼかし処理を施して、輝度画像データＹを照明成分データＬに変換する機能を有している。
【００３５】
本実施形態において、照明成分変換部２０ａは、下式（８）に従って、公知のガウシアンフィルタを用いたぼかし処理を行い、輝度画像データＹの各輝度画素データＹ（ｘ，ｙ）を、照明成分データＬ（ｘ，ｙ）へと変換する。
ここで、照明成分は、比較的低周波数の成分で構成されるため、ガウシアンフィルタなどのローパスフィルタをかけることで、輝度成分から照明成分を抽出する。
Ｌ（ｘ，ｙ）＝Ｇａｕｓｓ（Ｙ（ｘ，ｙ））                          ・・・（８）
なお、照明成分変換部２０ａは、輝度画像データＹをリミット制御部２０ｂに出力し、照明成分データＬを係数計算部２０ｃに出力する。
【００３６】
リミット制御部２０ｂは、照明成分変換部２０ａからの輝度画像データＹに基づき、平均輝度ＡＶＥを算出する機能を有している。更に、算出した平均輝度ＡＶＥに基づき、カラーＨＤＲ画像データＩのダイナミックレンジを圧縮する際の輝度変換用のゲイン係数ｋのリミット（上限）を決定する機能を有している。なお、リミット制御部２０ｂは、決定したリミットの情報を、係数計算部２０ｃに出力する。
【００３７】
本実施形態において、リミット制御部２０ｂは、平均輝度ＡＶＥが、予め設定した高輝度側の輝度の閾値ＹHよりも高い輝度の場合は、リミット値を通常よりも低いものに決定する。また、平均輝度ＡＶＥが、予め設定した低輝度側の輝度の閾値ＹLよりも低い輝度の場合は、リミット値を通常よりも高いものに決定する。また、平均輝度ＡＶＥが、高輝度側及び低輝度側の閾値ＹH及びＹLに対してこれらの間の値となる場合は、通常のリミット値に決定する。
【００３８】
更に、本実施形態において、リミット制御部２０ｂは、リミット値の決定に際して、平均輝度ＡＶＥが比較的高輝度の場合に、出力画像の階調特性がリニアセンサの階調特性となるようにリミット値を決定する。また、ＡＶＥが比較的低輝度の場合に、出力画像の階調特性がリニアログセンサの階調特性となるようにリミット値を決定する。また、ＡＶＥが通常の輝度範囲の場合は、出力画像の階調特性がログセンサの階調特性となるようにリミット値を決定する。
係数計算部２０ｃは、照明成分変換部２０ａからの照明成分データＬに基づき、ゲイン係数を算出する機能を有している。
本実施形態において、係数計算部２０ｃは、まず、照明成分データＬを用いて、下式（９）に従って、ダイナミックレンジＡからダイナミックレンジＢ（Ａ＞Ｂ）へと、照明成分の圧縮を行い、圧縮照明成分データＬ’を生成する。
Ｌ'（ｘ，ｙ）＝Ｂ／Ａ×（Ａ×ｌｏｇ（Ｌ（ｘ，ｙ））／ｌｏｇ（Ａ））
・・・（９）
【００３９】
次に、係数計算部２０ｃは、照明成分データＬと、圧縮照明成分データＬ’とを用いて、下式（１０）に従い、各画素に対応するカラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）の輝度変換用のゲイン係数ｋ（ｘ，ｙ）を算出する。
ｋ（ｘ，ｙ）＝Ｌ’（ｘ，ｙ）／Ｌ（ｘ，ｙ）                      ・・・（１０）
更に、係数計算部２０ｃは、算出したゲイン係数ｋ（ｘ，ｙ）と、リミット制御部２０ｂから取得したリミット値ｌｉｍとを比較し、ｋ（ｘ，ｙ）がリミット値ｌｉｍ以下の場合は、算出したｋ（ｘ，ｙ）をそのままとする。一方、ｋ（ｘ，ｙ）がリミット値ｌｉｍを越えていた場合は、ｋ（ｘ，ｙ）＝ｌｉｍとする。
【００４０】
そして、係数計算部２０ｃは、ゲイン係数ｋ（ｘ，ｙ）として、上式（１０）で算出した値、又はリミット値ｌｉｍを、カラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）のゲイン係数ｋ（ｘ，ｙ）として、レンジ圧縮部２０ｄに出力する。
なお、照明成分の圧縮に、上式（９）を用いたが、この圧縮方法に限らず、下式（１１）に示す、逆ガンマ特性に基づく圧縮方法を用いてもよい。
Ｌ'（ｘ，ｙ）＝Ｂ／Ａ×（Ａ×（Ｌ（ｘ，ｙ）／Ａ）0.4）      ・・・（１１）
【００４１】
レンジ圧縮部２０ｄは、ＨＤＲ撮像装置１０から取得したカラーＨＤＲ画像データＩの各カラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）の示す輝度値に、係数計算部２０ｃから取得したゲイン係数ｋ（ｘ，ｙ）を乗算する機能を有している。これにより、カラーＨＤＲ画像データのダイナミックレンジＡをダイナミックレンジＢに圧縮する。例えば、１０ビットのダイナミックレンジ（０〜１０２３）を、８ビットのダイナミックレンジ（０〜２５５）に圧縮する場合は、上式（１１）の「Ｂ／Ａ」は「２５５／１０２３≒０．２５」となる。
【００４２】
具体的に、レンジ圧縮部２０ｄは、下式（１２）に従って、入力画像データであるカラーＨＤＲ画像データＩの各カラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）をレンジ圧縮する。このレンジ圧縮されたカラーＨＤＲ画素データ（以下、カラーＬＤＲ画素データと称す）Ｏｒ（ｘ，ｙ）、Ｏｇ（ｘ，ｙ）、Ｏｂ（ｘ，ｙ）から、カラーＬＤＲ画像データＯが構成される。
Ｏｒ（ｘ，ｙ）＝Ｉｒ（ｘ，ｙ）×ｋ（ｘ，ｙ）
Ｏｇ（ｘ，ｙ）＝Ｉｇ（ｘ，ｙ）×ｋ（ｘ，ｙ）
Ｏｂ（ｘ，ｙ）＝Ｉｂ（ｘ，ｙ）×ｋ（ｘ，ｙ）                    ・・・（１２）
【００４３】
また、レンジ圧縮部２０ｄは、レンジ圧縮して得られたカラーＬＤＲ画像データＯを、逆ガンマ処理部２０ｅに出力する。
逆ガンマ処理部２０ｅは、レンジ圧縮部２０ｄから取得したカラーＬＤＲ画像データＯに対して逆ガンマ処理を行う機能を有している。更に、逆ガンマ処理部２０ｅは、逆ガンマ処理後のカラーＬＤＲ画像データＯを、保存部２０ｆに保存する。
ここで、逆ガンマ処理とは、例えば、ガンマ「γ＝２．２」の表示装置で画像を見たときに、中間調が補正されるように、逆ガンマ「１／γ＝１／２．２≒０．４５」で補正をかける処理となる。
【００４４】
保存部２０ｆは、カラーＬＤＲ画像データＯを格納するためのフレームメモリを備えており、逆ガンマ処理部２０ｅからの書き込み要求に応じて、逆ガンマ処理後のカラーＬＤＲ画像データＯをフレームメモリに格納する機能を有している。
なお、画像処理装置２０は、上記各構成部を電気回路等のハードウェアで全て構成してもよいし、ＤＳＰ等のプロセッサーを構成要素に含み、一部の処理をソフトウェアによって実現する構成としてもよい。
【００４５】
次に、図４に基づき、画像処理装置２０におけるレンジ変換処理の流れを説明する。ここで、図４は、画像処理装置２０におけるレンジ変換処理を示すフローチャートである。
画像処理装置２０において、レンジ変換処理が開始されると、図４に示すように、まず、ステップＳ１００に移行する。
ステップＳ１００では、画像処理装置２０において、ＨＤＲ撮像装置１０において、撮影が開始されたか否かを判定し、開始されたと判定した場合(Yes)は、ステップＳ１０２に移行し、そうでない場合(No)は、撮影が開始されるまで判定処理を繰り返す。
【００４６】
ステップＳ１０２に移行した場合は、画像処理装置２０において、ＨＤＲ撮像装置１０からカラーＨＤＲ画像データＩを取得したか否かを判定し、取得したと判定した場合(Yes)は、ステップＳ１０４に移行し、そうでない場合(No)は、取得するまで判定処理を繰り返す。
ステップＳ１０４に移行した場合は、照明成分変換部２０ａにおいて、ステップＳ１０２で取得したカラーＨＤＲ画像データＩ（Ｉｒ，Ｉｇ，Ｉｂ）を、上式（７）を用いて、輝度画像データＹに変換する。そして、変換して得られた輝度画像データＹを、リミット制御部２０ｂに出力して、ステップＳ１０６に移行する。
【００４７】
ステップＳ１０６では、照明成分変換部２０ａにおいて、ステップＳ１０４で変換して得られた輝度画像データＹに対して、上式（８）に示すガウシアンフィルタを用いたぼかし処理を行い、照明成分データＬを生成して、ステップＳ１０８に移行する。
ステップＳ１０８では、リミット制御部２０ｂにおいて、照明成分変換部２０ａから取得した輝度画像データＹに基づき、平均輝度ＡＶＥを算出して、ステップＳ１１０に移行する。
【００４８】
ステップＳ１１０では、リミット制御部２０ｂにおいて、平均輝度ＡＶＥと高輝度側の閾値ＹHとを比較し、ＡＶＥがＹHより大きいか否かを判定する。そして、「ＡＶＥ＞ＹH」であると判定した場合(Yes)は、ステップＳ１１２に移行し、そうでない場合(No)は、ステップＳ１２８に移行する。
ステップＳ１１２に移行した場合は、リミット制御部２０ｂにおいて、ゲイン係数ｋのリミット値ｌｉｍを「ｌｉｍ＝ｌｉｍS」に決定し、決定したｌｉｍの情報を、係数計算部２０ｃに出力して、ステップＳ１１４に移行する。
【００４９】
ステップＳ１１４では、係数計算部２０ｃにおいて、照明成分変換部２０ａから取得した照明成分データＬから、レンジ圧縮処理の未処理なデータＬ（ｘ，ｙ）を選択する。そして、選択した照明成分データＬ（ｘ，ｙ）を用いて、上式（９）又は（１１）によって、照明成分のレンジを圧縮した圧縮照明成分データＬ’（ｘ，ｙ）を生成して、ステップＳ１１６に移行する。
ステップＳ１１６では、係数計算部２０ｃにおいて、照明成分データＬ及び圧縮照明成分データＬ’から、上式（１０）を用いて、カラーＨＤＲ画像の各画素に対応するゲイン係数ｋ（ｘ，ｙ）を算出して、ステップＳ１１８に移行する。
【００５０】
ステップＳ１１８では、係数計算部２０ｃにおいて、ステップＳ１１６で算出したゲイン係数ｋ（ｘ，ｙ）と、リミット制御部２０ｂから取得したリミット値ｌｉｍとを比較する。そして、ｋ（ｘ，ｙ）がｌｉｍより大きいか否かを判定し、「ｋ（ｘ，ｙ）＞ｌｉｍ」であると判定した場合(Yes)は、ステップＳ１２０に移行し、そうでない場合(No)は、ｋ（ｘ，ｙ）の値をそのままレンジ圧縮部２０ｄに出力して、ステップＳ１２２に移行する。
【００５１】
ステップＳ１２０に移行した場合は、係数計算部２０ｃにおいて、「ｋ（ｘ，ｙ）＝ｌｉｍ」に変更し、値をｌｉｍに変更したｋ（ｘ，ｙ）を、レンジ圧縮部２０ｄに出力して、ステップＳ１２２に移行する。
ステップＳ１２２では、レンジ圧縮部２０ｄにおいて、係数計算部２０ｃから取得したｋ（ｘ，ｙ）を用いて、上式（１０）によって、対応するカラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）のレンジを圧縮する処理を実行する。そして、レンジ圧縮後のカラーＬＤＲ画素データＯｒ（ｘ，ｙ）、Ｏｇ（ｘ，ｙ）、Ｏｂ（ｘ，ｙ）を、逆ガンマ処理部２０ｅに出力して、ステップＳ１２４に移行する。
【００５２】
ステップＳ１２４では、画像処理装置２０において、１画像分の全ての画素について処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップＳ１２６に移行し、そうでない場合(No)は、ステップＳ１１４に移行する。
ステップＳ１２６に移行した場合は、画像処理装置２０において、ＨＤＲ撮像装置１０の撮影処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでない場合(No)は、ステップＳ１０２に移行する。
【００５３】
一方、ステップＳ１１０において、輝度平均ＡＶＥが高輝度側の閾値ＹH以下であって、ステップＳ１２８に移行した場合は、リミット制御部２０ｂにおいて、輝度平均ＡＶＥが低輝度側の閾値ＹL（ＹH＞ＹL）よりも小さいか否かを判定する。この判定によって、「ＡＶＥ＜ＹL」と判定した場合(Yes)は、ステップＳ１３０に移行し、そうでない場合(No)は、ステップＳ１３２に移行する。
ステップＳ１３０に移行した場合は、リミット制御部２０ｂにおいて、ゲイン係数ｋのリミット値ｌｉｍを「ｌｉｍ＝ｌｉｍL」に決定し、決定したｌｉｍの情報を、係数計算部２０ｃに出力して、ステップＳ１１４に移行する。
【００５４】
また、ステップＳ１２８において、輝度平均ＡＶＥが「ＹH≧ＡＶＥ≧ＹL」であって、ステップＳ１３２に移行した場合は、リミット制御部２０ｂにおいて、ゲイン係数ｋのリミット値ｌｉｍを「ｌｉｍ＝ｌｉｍM」に決定する。そして、決定したｌｉｍの情報を、係数計算部２０ｃに出力して、ステップＳ１１４に移行する。
なお、ｌｉｍS、ｌｉｍM、ｌｉｍLは、「ｌｉｍS＜ｌｉｍM＜ｌｉｍL」の関係となる。
【００５５】
次に、図５〜図６に基づき、本実施形態の動作を説明する。
ここで、図５（ａ）は、カラーＨＤＲ画像データＩの平均輝度ＡＶＥと、ゲイン係数ｋのリミット値ｌｉｍとの関係の一例を示す図であり、（ｂ）は、ゲイン係数ｋと、照明成分データＬとの関係の一例を示す図である。また、図６（ａ）は、リミット値ｌｉｍを「５」に設定したときの、カラーＨＤＲ画像データＩの輝度と、カラーＬＤＲ画像データＯの輝度との関係の一例を示す図である。また、図６（ｂ）は、リミット値ｌｉｍを「０．２５」に設定したときの、カラーＨＤＲ画像データＩの輝度と、カラーＬＤＲ画像データＯの輝度との関係の一例を示す図である。
ユーザーの操作に応じて、ＨＤＲ撮像装置１０において、被写体の撮影処理が開始されると、被写体から反射された光は、レンズ１１ａで集光されてマイクロレンズ１１ｂに入射される。レンズ１１ａからの入射光は、マイクロレンズ１１ｂにおいて平行化されて、カラーフィルタアレイ１１ｃを介してセンサセルアレイの各画素に入射される。
【００５６】
一方、ＨＤＲセンサ１１ｄにおいて、開始ラインから順に１ラインずつリセットラインＲが設定されて、各画素の蓄積電荷がリセットされる。引き続き、各走査ラインに対して、各画素のリセット後において露光時間Ｔ１の経過タイミングで非破壊読み出しラインＬ１が設定され、走査されたラインの各画素（センサセル）から画素信号Ｓ１が読み出される。
引き続き、各走査ラインに対して、各画素のリセット後において露光時間Ｔ２の経過タイミングで非破壊読み出しラインＬ２が設定され、走査されたラインの各画素から画素信号Ｓ２が読み出される。引き続き、開始ラインから順に読み出し＆リセットラインＬ３＆Ｒが設定され、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。
【００５７】
以降、撮影処理が行われている間は、上記の手順でＬ１〜Ｌ３＆Ｒの設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ＨＤＲセンサ１１ｄにおいて、デジタルの画素データＳ１〜Ｓ３に変換され、ライン単位で且つ画素データＳ１〜Ｓ３の順で順次、メモリ１２〜１４へと出力される。
【００５８】
一方、画像合成部１５のＨＤＲ信号処理部１５ａは、メモリ１２、１３、１４に１ライン分の画素データＳ１、Ｓ２、Ｓ３がそれぞれ格納されると、ＨＤＲ合成処理を実行する。
ＨＤＲ合成処理が実行されると、ＨＤＲ信号処理部１５ａは、メモリ１２〜１４から、１ライン分の画素データＳ１〜Ｓ３を取得する。そして、取得したＳ１〜Ｓ３を合成処理して、各画素位置のカラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）を生成する。そして、生成したカラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）を、メモリＩＦを介して、フレームメモリ１５ｂの各画素位置に対応するアドレスのメモリ領域に格納する。
このようにして、カラーＨＤＲ画素データを順次生成し、１画像分（１フレーム分）のカラーＨＤＲ画像データＩが生成されると、生成したカラーＨＤＲ画像データＩを画像処理装置２０に出力する。
【００５９】
一方、画像処理装置２０は、ＨＤＲ撮像装置１０において撮影が開始されたことを判定すると（ステップＳ１００の「Ｙｅｓ」の分岐）、ＨＤＲ撮像装置１０からカラーＨＤＲ画像データＩが送信されるのを待機する。そして、ＨＤＲ撮像装置１０から１フレーム分のカラーＨＤＲ画像データＩを取得すると（ステップＳ１０２の「Ｙｅｓ」の分岐）、まず、照明成分変換部２０ａにおいて、取得したカラーＨＤＲ画像データＩを輝度画像データＹへと変換する（ステップＳ１０４）。
【００６０】
ここでは、各画素データが１０ビットで表現されたカラーＨＤＲ画像データＩを取得したとする。
例えば、画素位置が「（ｘ，ｙ）＝（１，１）」のカラーＨＤＲ画素データＩｒ（１，１）、Ｉｇ（１，１）、Ｉｂ（１，１）が、「（Ｉｒ（１，１），Ｉｇ（１，１），Ｉｂ（１，１））＝（２５０，７５２，５６０）」であったとする。
この場合は、上式（９）から、「Ｙ（１，１）＝０．３×２５０＋０．６×７５２＋０．１×５６０≒５８２」が算出される。
【００６１】
このようにして、取得したカラーＨＤＲ画像データＩの各画素データを輝度値へと変換し、全画素データについて輝度変換を行うことで輝度画像データＹを生成する。
輝度画像データＹが生成されると、次に、画像処理装置２０は、照明成分変換部２０ａにおいて、生成した輝度画像データＹに対して、上式（８）のガウシアンフィルタを用いたぼかし処理を行い、照明成分データＬを生成する（ステップＳ１０６）。
【００６２】
ガウシアンフィルタは、ｎ×ｍ画素（ｎ、ｍは３以上の自然数）に対応するカーネル（オペレータともいう）のレートを、ガウス分布関数によって生成したものである。このカーネルを用いて、注目画素とその周辺の画素との輝度値に対して、各画素位置に対応したレートを乗算していくことでぼかし処理を行う。
ぼかし処理によって、照明成分データＬが生成されると、照明成分変換部２０ａは、生成した輝度画像データＹをリミット制御部２０ｂに出力し、照明成分データＬを、係数計算部２０ｃに出力する。
【００６３】
リミット制御部２０ｂは、照明成分変換部２０ａから輝度画像データＹを取得すると、取得した輝度画像データＹの平均輝度ＡＶＥを算出する（ステップＳ１０８）。本実施形態では、平均輝度ＡＶＥは、輝度画像データＹにおける、全画素データの輝度値の総和Ｗを画素数Ｎで除算（ＡＶＥ＝Ｗ／Ｎ）することで算出する。
リミット制御部２０ｂは、平均輝度ＡＶＥを算出すると、次に、ＡＶＥと、予め設定された高輝度側の閾値ＹHとを比較し、ＡＶＥがＹHよりも大きいか否かを判定する（ステップＳ１１０）。
【００６４】
ここでは、カラーＨＤＲ画像データＩが、１０ビットのデータであることから、高輝度側の閾値ＹHとして「７６８」を、また、低輝度側の閾値ＹLとして「２５６」を設定している。
本実施形態では、更に、レンジ圧縮後のカラーＬＤＲ画像データが所定の階調特性を有するようにゲイン係数ｋのｌｉｍの値が設定されている。具体的に、照明成分データＬの値の範囲に対して、低輝度域でログセンサの特性を有し、中輝度域でリニアログセンサの特性を有し、高輝度域でリニアセンサの特性を有するようにリミット値ｌｉｍS、ｌｉｍM、ｌｉｍLの値を設定している。
【００６５】
ここでは、１０ビットの階調範囲のカラーＨＤＲ画像データＩを、８ビットの階調範囲のカラーＬＤＲ画像データＯへとレンジ圧縮するので、図５（ｂ）に示すように、リミット値として「ｌｉｍS＝１／４（０．２５）、ｌｉｍM＝５、ｌｉｍL＝２２」を設定している。
例えば、輝度平均ＡＶＥが「４００」である場合は、「ＹH＝７６８」よりも小さくなり（ステップＳ１１０の「Ｙｅｓ」の分岐）、且つ「ＹL＝２５６」よりも大きくなる（ステップＳ１２８の「Ｎｏ」の分岐）。
【００６６】
従って、リミット制御部２０ｂは、輝度平均ＡＶＥが「４００」の場合は、ゲイン係数ｋのリミット値ｌｉｍを、「ｌｉｍ＝５」に決定し、決定したｌｉｍの情報を係数計算部２０ｃに出力する（ステップＳ１３２）。
係数計算部２０ｃは、リミット制御部２０ｂから、リミット値「ｌｉｍ＝５」の情報を取得すると、まず、上式（１０）に従って、照明成分データＬのレンジを圧縮して、圧縮照明成分データＬ’を生成する（ステップＳ１１４）。
【００６７】
例えば、カラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）が「１５５，１５８，１３１」であり、輝度画素データＹ（ｘ，ｙ）が「１５４」であり、このときの照明成分データＬ（ｘ，ｙ）が「１５０」であるとする。この場合は、上式（９）より、「Ｌ’（ｘ，ｙ）＝２５５／１０２３×（１０２３×ｌｏｇ（１５０）／ｌｏｇ（１０２３））≒１８４」となる。
【００６８】
係数計算部２０ｃは、圧縮照明成分データＬ’（ｘ，ｙ）が算出されると、次に、上式（１０）に従って、画素位置（ｘ，ｙ）に対するゲイン係数ｋ（ｘ，ｙ）を算出する（ステップＳ１１６）。
具体的に、Ｌ（ｘ，ｙ）が「１５０」、Ｌ’（ｘ，ｙ）が「１８４」であるので、上式（１０）より、「ｋ（ｘ，ｙ）＝１８４／１５０≒１．２」と算出される。
ゲイン係数ｋが算出されると、係数計算部２０ｃは、次に、算出したゲイン係数「ｋ（ｘ，ｙ）＝１．２」と、リミット値「ｌｉｍ＝５」とを比較する（ステップＳ１１８）。この場合は、「ｋ（ｘ，ｙ）＜ｌｉｍ」となるので（ステップＳ１１８の「Ｎｏ」の分岐）、ゲイン係数「ｋ（ｘ，ｙ）＝１．２」の情報を、レンジ圧縮部２０ｄに出力する。
【００６９】
また、例えば、カラーＨＤＲ画素データ（Ｉｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）が「４，２５，１３」であり、輝度画素データＹ（ｘ，ｙ）が「１８」であり、このときの照明成分データＬ（ｘ，ｙ）が「１５」であるとする。この場合は、上式（９）より、「Ｌ’（ｘ，ｙ）＝２５５／１０２３×（１０２３×ｌｏｇ（１５）／ｌｏｇ（１０２３）≒１００」となる。
【００７０】
係数計算部２０ｃは、Ｌ（ｘ，ｙ）が「１５」、Ｌ’（ｘ，ｙ）が「１００」であるので、上式（１０）より、ゲイン係数ｋとして、「ｋ（ｘ，ｙ）＝１００／１５≒６．６」を算出する。この場合は、「ｋ（ｘ，ｙ）＞ｌｉｍ」となるので（ステップＳ１１８の「Ｎｏ」の分岐）、ゲイン係数ｋ（ｘ，ｙ）を、ｌｉｍの値とする。つまり、「ｋ（ｘ，ｙ）＝ｌｉｍ＝５」の情報を、レンジ圧縮部２０ｄに出力する。
【００７１】
レンジ圧縮部２０ｄは、係数計算部２０ｃからゲイン係数ｋ（ｘ，ｙ）の情報を取得すると、上式（１２）に従って、画素位置（ｘ，ｙ）のカラーＨＤＲ画素データＩｒ（ｘ，ｙ）、Ｉｇ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）のレンジ圧縮を行う（ステップＳ１２２）。
ゲイン係数ｋが「１．２」の場合は、上式（１２）から、「Ｏｒ（ｘ，ｙ）＝１．２×１５５＝１８６」、「Ｏｇ（ｘ，ｙ）＝１．２×１５８≒１９０」、「Ｏｂ（ｘ，ｙ）＝１．２×１３１＝１５７」と算出される。
【００７２】
これにより、レンジ圧縮後のカラーＬＤＲ画素データとして、「（Ｏｒ（ｘ，ｙ）、Ｏｇ（ｘ，ｙ）、Ｏｂ（ｘ，ｙ））＝（１８６，１９０，１５７）」が求まる。
また、ゲイン係数ｋが「５．０」の場合は、上式（１２）から、「Ｏｒ（ｘ，ｙ）＝５．０×４＝２０」、「Ｏｇ（ｘ，ｙ）＝５．０×２５＝１２５」、「Ｏｂ（ｘ，ｙ）＝５．０×１３＝６５」と算出される。
【００７３】
これにより、レンジ圧縮後のカラーＬＤＲ画素データとして、「（Ｏｒ（ｘ，ｙ）、Ｏｇ（ｘ，ｙ）、Ｏｂ（ｘ，ｙ））＝（２０，１２５，６５）」が求まる。
一方、リミット値「５」で制限をかけなかった場合は、ゲイン係数ｋは「６．６」となるので、上式（１２）から、「Ｏｒ（ｘ，ｙ）＝６．６×４≒２６」、「Ｏｇ（ｘ，ｙ）＝６．６×２５＝１６５」、「Ｏｂ（ｘ，ｙ）＝６．６×１３≒８６」と算出される。
【００７４】
従って、本来ならば、「（Ｏｒ（ｘ，ｙ）、Ｏｇ（ｘ，ｙ）、Ｏｂ（ｘ，ｙ））＝（２６，１６５，８６）」となり、明るくなりすぎる低輝度部を、ゲイン係数ｋにリミットを設けることで、（２０，１２５，６５）の輝度に抑えることができる。
このようにして算出されたカラーＬＤＲ画素データ（Ｏｒ（ｘ，ｙ）、Ｏｇ（ｘ，ｙ）、Ｏｂ（ｘ，ｙ））は、逆ガンマ処理部２０ｅにおいて、逆ガンマ処理が施された後に、保存部２０ｆにおいてフレームメモリに保存される。
【００７５】
そして、上記同様の処理を繰り返し行い、カラーＨＤＲ画像データＩの全ての画素についてレンジ圧縮処理が終了すると（ステップＳ１２４の「Ｙｅｓ」の分岐）、次に、撮影処理が終了したか否かを判定する（ステップＳ１２６）。ここで、撮影処理が終了していないと判定した場合（ステップＳ１２６の「Ｎｏ」の分岐）は、次のフレームのカラーＨＤＲ画像データＩの送信を待ち（ステップＳ１０２）、終了したと判定した場合（ステップＳ１２６の「Ｙｅｓ」の分岐）は、一連の処理を終了する。
なお、リミット値ｌｉｍを「５」にした場合は、図６（ａ）に示すように、カラーＨＤＲ画像データＩ（入力値）に対して、カラーＬＤＲ画像データＯ（出力値）は、低輝度領域で線形に変化し途中からログセンサの変化となる、リニアログセンサの階調特性を有することになる。
【００７６】
一方、リミット制御部２０ｂにおいて、例えば、輝度平均ＡＶＥが「８００」である場合は、「ＹH＝７６８」よりも大きくなるので（ステップＳ１１０の「Ｙｅｓ」の分岐）、ゲイン係数ｋのリミット値ｌｉｍを、最小値である「ｌｉｍ＝０．２５」に決定する。
図５（ｂ）に示すように、ゲイン係数ｋの値の範囲よりもリミット値が小さいということは、算出した全てのｋがｌｉｍ（１／４）に固定されることとなり、定数を乗算することと同様となる。従って、この場合は、図６（ｂ）に示すように、カラーＨＤＲ画像データＩに対して、カラーＬＤＲ画像データＯは線形に変化し、リニアセンサの階調特性を有することになる。
【００７７】
また、リミット制御部２０ｂにおいて、例えば、輝度平均ＡＶＥが「２００」である場合は、「ＹH＝７６８」よりも小さくなり（ステップＳ１１０の「Ｎｏ」の分岐）、且つ「ＹL＝２５６」よりも小さくなる。従って、ゲイン係数ｋのリミット値ｌｉｍを、最大値である「ｌｉｍ＝２２」に決定する。
リミット値が大きいということは、図５（ｂ）に示すように、Ｌの値が余程小さくない限りは、算出したｋがそのまま用いられるため画像の明るさを確保することができる。更に、低輝度部分においては明るくしすぎないようにｋの上限が制限されるため、低輝度部分を明るくしすぎないようにすることができる。この場合は、カラーＬＤＲ画像データＯは、ログセンサの階調特性を有することになる。
【００７８】
以上説明したように、本実施形態の撮像システム１は、画像処理装置２０において、カラーＨＤＲ画像データＩの各画素データの示す輝度値における照明光成分を圧縮することでダイナミックレンジを圧縮（レンジ圧縮）することができる。
更に、レンジ圧縮する際に、照明光成分を圧縮するゲイン係数ｋを算出すると共に、ゲイン係数ｋのリミット値ｌｉｍを決定し、決定したｌｉｍに基づき輝度変換用のゲイン係数ｋのリミットを制限することができる。
更に、リミット値ｌｉｍを決定する際に、カラーＨＤＲ画像データＩから輝度画像データＹを生成し、該輝度画像データＹの平均輝度ＡＶＥを算出する。そして、平均輝度ＡＶＥと、予め設定された輝度の閾値ＹH、ＹL（ＹH＞ＹL）とに基づき、画像の明るさに対応する輝度変換用のゲイン係数ｋのリミット値ｌｉｍを決定することができる。
【００７９】
更に、比較的高輝度の画像に対しては、通常よりも小さなリミット値（例えば、係数ｋの最小値よりも小さい値）であって、且つレンジ圧縮後の画像の階調特性がリニアセンサの階調特性となるリミット値ｌｉｍSを設定することができる。また、比較的低輝度の画像に対しては、通常よりも小さなリミット値（ｌｉｍSよりは大きい）であって、且つレンジ圧縮後の画像の階調特性がリニアログセンサの階調特性となるリミット値ｌｉｍMを設定することができる。また、ＹHとＹLとの間の輝度範囲の画像に対しては、レンジ圧縮後の画像の階調特性がログセンサの階調特性となる通常のリミット値ｌｉｍ(L)を設定することができる。
以上より、暗い画像については、入力画像の低輝度部分が明るくなりすぎないように制限をかけつつも、必要な明るさを確保した画像を生成することができる。また、明るい画像については、入力画像の低輝度部分が明るくなりすぎないように制限をかけつつも、黒浮きのないメリハリの効いた画像を生成することができる。
【００８０】
また、入力画像の明るさに応じて、出力画像の画質特性（階調特性）を、リニアセンサ、リニアログセンサ、ログセンサのうちいずれかの画質特性へと動的に変化させることができる。
上記実施形態において、照明成分変換部２０ａ、リミット制御部２０ｂ、係数計算部２０ｃ、レンジ圧縮部２０ｄは、形態１〜５のいずれか１に記載の画像変換手段に対応する。
また、上記実施形態において、ステップＳ１００〜Ｓ１３２は、形態６又は７に記載の画像変換ステップに対応する。
【００８１】
また、上記実施形態において、撮像システム１は、形態８に記載の撮像装置又は形態９に記載の電子機器に対応する。
なお、上記実施形態における、撮像システム１は、ＨＤＲ撮像装置１０と画像処理装置２０とを一体形成して撮像装置の構成とすることが可能である。または、表示装置、メモリ装置等の不図示の他の装置と組み合わせて、デジタルカメラ、デジタルビデオカメラなどの電子機器を構成することも可能である。
【００８２】
また、上記実施形態において、撮像素子１１のＨＤＲセンサ１１ｄが、ＣＭＯＳ技術を用いて構成されたセンサセルアレイを有する構成としたが、この構成に限らない。例えば、ＣＣＤから構成されるセンサセルアレイを有する構成など他の構成としてもよい。
また、上記実施形態において、平均輝度ＡＶＥと輝度の閾値ＹH及びＹLとの比較結果に基づき、リミット値ｌｉｍの値を、ｌｉｍs、ｌｉｍM、ｌｉｍHの３種類の中から選択する構成としたが、この構成に限らない。
例えば、リミット値を、基準値であるｌｉｍHだけにし、ｌｉｍHに対して、平均輝度ＡＶＥの大きさに応じた補正量を加算又は減算する構成や、４種類以上のリミット値から選択する構成など、他の構成としてもよい。
【００８３】
また、上記実施形態において、ｌｉｍs、ｌｉｍM、ｌｉｍHの値を、０．２５、５、２２としたが、この値に限らず、大小関係を維持していれば、他の値としてもよい。
また、上記実施形態において、ｌｉｍs、ｌｉｍM、ｌｉｍHの値を、出力画像の階調特性が、リニアセンサ、リニアログセンサ、ログセンサの階調特性となるように設定したが、この構成に限らない。
例えば、階調特性に関係のない値を設定したり、他のセンサの階調特性となる値を設定したりするなど、他の構成としてもよい。
【００８４】
また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【００８５】
１…撮像システム、１０…ＨＤＲ撮像装置、１１…撮像素子、１１ａ…レンズ、１１ｂ…マイクロレンズ、１１ｃ…カラーフィルタアレイ、１１ｄ…ＨＤＲセンサ、１２〜１４…メモリ、１５…画像合成部、１５ａ…ＨＤＲ信号処理部、１５ｂ…フレームメモリ、２０…画像処理装置、２０ａ…照明成分変換部、２０ｂ…リミット制御部、２０ｃ…係数計算部、２０ｄ…レンジ圧縮部、２０ｅ…逆ガンマ処理部、２０ｆ…保存部
【図１】
2011100204.tif 000003
【図２】
2011100204.tif 000004
【図３】
2011100204.tif 000005
【図４】
2011100204.tif 000006
【図５】
2011100204.tif 000007
【図６】
2011100204.tif 000008
【図７】
2011100204.tif 000009