(57)【要約】【課題】ハイダイナミックレンジ合成画像に対して、ユーザが所望する露出補正を行うことができるようにする。【解決手段】被写体を撮像して、撮像データを生成する撮像部と、撮像部の露出量を補正するための露出補正量を設定する露出補正量設定部と、設定された露出補正量に基づいて、撮像部の露出を制御する露出制御部と、異なる複数の露出量で撮像部により撮像される複数の撮像データを合成して、合成データを生成する信号合成部と、生成された合成データの階調を変換する階調変換部と、設定された露出補正量に基づいて、階調変換部による階調変換を制御する階調制御部とを備える撮像装置が提供される。本技術は、例えばデジタルスチルカメラ等の露出補正機能を備える撮像装置に適用することができる。【選択図】図５
2016001809.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して、撮像データを生成する撮像部と、
前記撮像部の露出量を補正するための露出補正量を設定する露出補正量設定部と、
前記露出補正量設定部により設定された前記露出補正量に基づいて、前記撮像部の露出を制御する露出制御部と、
前記露出制御部により設定される異なる複数の露出量で、前記撮像部により撮像される複数の撮像データを合成して、合成データを生成する信号合成部と、
前記信号合成部により生成された前記合成データの階調を変換する階調変換部と、
前記露出補正量設定部により設定された前記露出補正量に基づいて、前記階調変換部による階調変換を制御する階調制御部と
を備える撮像装置。
【請求項２】
前記階調制御部は、前記露出補正量設定部により設定された前記露出補正量と、前記合成データの輝度情報を用い、露出補正前の合成データを予測して、その予測の結果に応じて生成される変調カーブに従い、前記階調変換部による階調変換を制御する
請求項１に記載の撮像装置。
【請求項３】
前記階調制御部は、前記合成データの輝度情報として、その輝度情報における最小値、平均値、及び、最大値を用いる
請求項２に記載の撮像装置。
【請求項４】
前記階調制御部は、露出補正前の合成データを予測するための露出補正量が、前記撮像部の露出量を補正するための露出補正量と異なるようにする
請求項２に記載の撮像装置。
【請求項５】
撮像装置の撮像方法において、
前記撮像装置が、
被写体を撮像して、撮像データを生成し、
撮像部の露出量を補正するための露出補正量を設定し、
設定された前記露出補正量に基づいて、前記撮像部の露出を制御し、
異なる複数の露出量で前記撮像部により撮像される複数の撮像データを合成して、合成データを生成し、
設定された前記露出補正量に基づいて、生成された前記合成データの階調変換を制御し、
生成された前記合成データの階調を変換する
ステップを含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、及び、撮像方法に関し、特に、ハイダイナミックレンジ合成画像に対して、ユーザが所望する露出補正を行うことができるようにした撮像装置、及び、撮像方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の撮像装置において、ダイナミックレンジの広い被写体を効果的に撮像するモードとして、ハイダイナミックレンジ合成モード（以下、「HDRモード」という。）が知られている。また、この種の撮像装置では、自動露出制御で設定された露出を変化させる露出補正機能を備えるものがほとんどである。
【０００３】
特許文献１には、高感度画像データと低感度画像データを合成して得られる合成画像において、当該合成画像のダイナミックレンジの広狭を変化させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２２１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、HDRモードを設定可能な撮像装置においては、HDRモードでの撮像時に撮像された画像（以下、「ハイダイナミックレンジ合成画像」という。）に対する露出補正を行うに際して、ユーザが指定した露出補正値に適切に露出を変動させたいという要求がある。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、ハイダイナミックレンジ合成画像に対して、ユーザが所望する露出補正を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の撮像装置は、被写体を撮像して、撮像データを生成する撮像部と、前記撮像部の露出量を補正するための露出補正量を設定する露出補正量設定部と、前記露出補正量設定部により設定された前記露出補正量に基づいて、前記撮像部の露出を制御する露出制御部と、前記露出制御部により設定される異なる複数の露出量で、前記撮像部により撮像される複数の撮像データを合成して、合成データを生成する信号合成部と、前記信号合成部により生成された前記合成データの階調を変換する階調変換部と、前記露出補正量設定部により設定された前記露出補正量に基づいて、前記階調変換部による階調変換を制御する階調制御部とを備える撮像装置である。
【０００８】
前記階調制御部は、前記露出補正量設定部により設定された前記露出補正量と、前記合成データの輝度情報を用い、露出補正前の合成データを予測して、その予測の結果に応じて生成される変調カーブに従い、前記階調変換部による階調変換を制御することができる。
【０００９】
前記階調制御部は、前記合成データの輝度情報として、その輝度情報における最小値、平均値、及び、最大値を用いることができる。
【００１０】
前記階調制御部は、露出補正前の合成データを予測するための露出補正量が、前記撮像部の露出量を補正するための露出補正量と異なるようにすることができる。
【００１１】
本技術の一側面の撮像方法は、上述した本技術の一側面の撮像装置に対応する撮像方法である。
【００１２】
本技術の一側面の撮像装置、及び、撮像方法においては、被写体を撮像して、撮像データが生成され、撮像部の露出量を補正するための露出補正量が設定され、設定された前記露出補正量に基づいて、前記撮像部の露出が制御され、異なる複数の露出量で前記撮像部により撮像される複数の撮像データを合成して、合成データが生成され、設定された前記露出補正量に基づいて、生成された前記合成データの階調変換が制御され、生成された前記合成データの階調が変換される。
【発明の効果】
【００１３】
本技術の一側面によれば、ハイダイナミックレンジ合成画像に対して、ユーザが所望する露出補正を行うことができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】露出補正の概要を説明する図である。
【図２】自動階調変換制御を説明する図である。
【図３】露出補正が行われた場合における自動階調変換制御を説明する図である。
【図４】予測値を用いた階調変換制御を説明する図である。
【図５】本技術を適用した撮像装置の一実施の形態の構成を示すブロック図である。
【図６】撮像処理の流れを説明するフローチャートである。
【図７】露出補正が施されたハイダイナミックレンジ合成画像の例を示す図である。
【図８】露出補正量に係数を乗算して得られる予測値を用いた階調変換制御を説明する図である。
【図９】予測値を出力データ側で適用した場合の階調変換制御を説明する図である。
【図１０】半導体装置の構成例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【００１７】
１．本技術を適用した階調変換制御
２．撮像装置の構成
３．撮像処理の流れ
４．変形例
【００１８】
＜１．本技術を適用した階調変換制御＞
【００１９】
（露出補正の概要）
図１は、露出補正の概要を説明する図である。図１において、横軸は、ある画像における各画素の輝度を表し、図中の左側から右側に向かうほど、輝度が高いことを意味する。また、縦軸は輝度ごとの画素数を表し、図中の下側から上側に向かうほど、画素数が多いことを意味する。すなわち、図１のヒストグラムは、ある画像における明るさの分布（輝度分布）を表している。
【００２０】
図１に示すように、露出補正を行う場合には、自動露出制御により定まるダイナミックレンジの範囲を、ユーザにより設定された露出補正値（例えば、1/3EV，-4/3EV等）に応じて、露出オーバー側、あるいは露出アンダー側に移動させることになる。すなわち、露出オーバーにしたい場合にはプラス補正が施され、露出アンダーにしたい場合にはマイナス補正が施されることになる。
【００２１】
なお、ユーザにより設定された露出補正値は、露出制御部（後述する露出制御部１１３（図５））が露出量を制御可能な単位に変換されてから、露出制御で用いられる。つまり、露出補正前後の露出量と、露出補正量との関係は、以下のように表すことができる。
【００２２】
露出補正量＝露出補正後露出量−露出補正前露出量
【００２３】
ここで、HDRモードでの撮像では、露出量の異なる複数の撮像データを合成することで、幅広いダイナミックレンジを有するハイダイナミックレンジ合成画像が生成される。また、露出補正を行う場合、HDRモードでの撮像で得られる複数枚の露出量の異なる撮像データには、自動露出制御により定まるダイナミックレンジの範囲に露出補正量が加味された露出補正が施される。
【００２４】
（階調変換の概要）
また、複数の撮像データを合成することで得られる合成データには、自動階調変換制御により階調圧縮が施される。すなわち、自動露出制御において、露出補正量が加味されることで、ハイダイナミックレンジ合成画像は、露出補正され、その後、自動階調変換制御により階調圧縮されることになる。例えば、HDRモードでの撮像では、長時間露出の撮像データと、短時間露出の撮像データが得られるので、それらの撮像データを合成することで合成データが生成され、自動階調変換制御により階調圧縮をすることで、常にデータレンジが一定になるように調整される。
【００２５】
図２は、自動階調変換制御を説明する図である。図２において、横軸（Ｘ軸）は、階調変換前の14ビットの階調からなる入力データを表し、縦軸（Ｙ軸）は、階調変換後の10ビットの階調からなる出力データを表している。すなわち、図２においては、変調カーブを用いることで、入力データとしての階調変換前の合成データ（14ビットの階調）が、出力データとしての階調変換後の合成データ（10ビットの階調）に階調圧縮される例を示している。
【００２６】
具体的には、階調変換前の合成データを検波することで得られる輝度情報を表しているヒストグラムＡにおける、最小値（Ymin(A)）、平均値（Yave(A)）、及び、最大値（Ymax(A)）の３点を用い、出力レンジに合わせた変調カーブＡを生成する。そして、ヒストグラムＡを、変調カーブＡに従って変換することで、階調圧縮されたヒストグラムＡ'が得られる。
【００２７】
また、階調変換前の合成データを検波することで得られる輝度情報を表しているヒストグラムＢにおける、最小値（Ymin(B)）、平均値（Yave(B)）、及び、最大値（Ymax(B)）の３点を用い、出力レンジに合わせた変調カーブＢを生成する。そして、ヒストグラムＢを、変調カーブＢに従って変換することで、階調圧縮されたヒストグラムＢ'が得られる。
【００２８】
すなわち、階調変換前の合成データについての、ヒストグラムＡとヒストグラムＢは、そのレンジが異なっているが、階調変換後の合成データについての、ヒストグラムＡ'とヒストグラムＢ'では、そのレンジが一致している。このような階調変換制御を行うことで、階調を圧縮し過ぎることなく、また、入力データのレンジに依らず、出力データのレンジを余すところなく使用できるようにしている。
【００２９】
なお、図２において、変調カーブを生成する際に、輝度情報の最小値、平均値、及び、最大値の３点を用いるとして説明したが、その点数は定まったものではなく、任意の点を用い、変調カーブを生成することができる。このことは、後述する他の図における変調カーブでも同様とされる。
【００３０】
図３は、露出補正が行われた場合における自動階調変換制御を説明する図である。図３において、横軸（Ｘ軸）は階調変換前の入力データを表し、縦軸（Ｙ軸）は階調変換後の出力データを表している。
【００３１】
図３においては、Ｘ軸の入力データとして、階調変換前の合成データについての、露出オーバー設定時のヒストグラムＣと、露出補正オフ時のヒストグラムＤと、露出アンダー設定時のヒストグラムＥが図示されている。また、Ｙ軸の出力データとして、階調変換後の合成データについての、露出オーバー設定時のヒストグラムＣ'と、露出補正オフ時のヒストグラムＤ'と、露出アンダー設定時のヒストグラムＥ'が図示されている。
【００３２】
具体的には、図３の露出オーバー設定時においては、階調変換前の合成データを検波することで得られる輝度情報を表しているヒストグラムＣにおける、最小値（Ymin(C)）、平均値（Yave(C)）、及び、最大値（Ymax(C)）の３点を用いて、変調カーブＣを生成する。そして、露出オーバー設定時のヒストグラムＣを、変調カーブＣに従って変換することで、階調圧縮されたヒストグラムＣ'が得られる。
【００３３】
また、図３の露出アンダー設定時においては、階調変換前の合成データを検波することで得られる輝度情報を表しているヒストグラムＥにおける、最小値（Ymin(E)）、平均値（Yave(E)）、及び、最大値（Ymax(E)）の３点を用いて、変調カーブＥを生成する。そして、露出アンダー設定時のヒストグラムＥを、変調カーブＥに従って変換することで、階調圧縮されたヒストグラムＥ'が得られる。
【００３４】
なお、図３の露出補正オフ時においては、ヒストグラムＤにおける輝度情報（最小値（Ymin(D)）、平均値（Yave(D)）、及び、最大値（Ymax(D)））から、変調カーブＤが生成されるので、露出補正オフ時のヒストグラムＤを、変調カーブＤに従って変換することで、階調圧縮されたヒストグラムＤ'が得られることになる。
【００３５】
ここで、階調変換前の合成データについての、ヒストグラムＣと、ヒストグラムＤと、ヒストグラムＥは、そのレンジが異なっているが、階調変換後の合成データについての、ヒストグラムＣ'と、ヒストグラムＤ'と、ヒストグラムＥ'では、そのレンジが一致している。すなわち、これは、ユーザが露出補正値を設定した場合でも、ハイダイナミックレンジ合成画像が、露出補正されていない画像となることを意味している。
【００３６】
その理由であるが、変調カーブを生成するに際して、合成データから輝度情報を検波するため、輝度情報の最小値（Ymin）、平均値（Yave）、及び、最大値（Ymax）は、露出補正量が加味されたものとなっている。そして、この合成データから変調カーブを生成し、生成された変調カーブに従って出力データのレンジに合わせこむと、ヒストグラムＣ，Ｄ，Ｅのどれもが、出力データのレンジ内の同じ値に変換されるため、ヒストグラムＣ'，Ｄ'，Ｅ'は、同一のレンジとなる。その結果、ユーザが露出補正値を設定していても、ハイダイナミックレンジ合成画像に対して露出補正がほとんど反映されることはない。
【００３７】
このように、通常の露出補正は、露出量を変化させることで補正を行うものであって、自動階調変換制御の役割は、入力データのダイナミックレンジを、出力データのビットレンジに合わせて出力するためのものであるため、露出補正を行った後に自動階調変換制御を行うと、露出補正がほとんど反映されないことになる。そこで、本技術では、露出補正量を加味した輝度情報（以下、「予測の輝度情報」という。）を用いることで、ハイダイナミックレンジ合成画像に対しても露出補正機能が反映されるようにする。以下、露出補正前の画像（合成データ）の予測値としての予測の輝度情報を用いた階調変換制御について説明する。
【００３８】
（予測値を用いた階調変換制御）
図４は、予測の輝度情報を用いた階調変換制御を説明する図である。図４において、横軸（Ｘ軸）は階調変換前の入力データを表し、縦軸（Ｙ軸）は階調変換後の出力データを表している。
【００３９】
図４においては、Ｘ軸の入力データとして、階調変換前の合成データについての、露出オーバー設定時のヒストグラムＣと、露出補正オフ時のヒストグラムＤと、露出アンダー設定時のヒストグラムＥが図示されている。また、Ｙ軸の出力データとして、階調変換後の合成データについての、露出オーバー設定時のヒストグラムＣ''と、露出補正オフ時のヒストグラムＤ''と、露出アンダー設定時のヒストグラムＥ''が図示されている。
【００４０】
図４の階調変換制御では、階調変換前の合成データを検波することで得られる輝度情報と、露出制御で用いられる露出補正量と用い、下記の式（１）乃至式（３）を演算することで、露出補正量を加味した予測の輝度情報を求める。
【００４１】
【数１】
2016001809.tif 000003
【００４２】
ただし、式（１）において、Ymin'は、Yminから予測される輝度情報の最小値である。また、Ymin'≧MINLIMIT（物理的な輝度最小値）の関係を満たすものとする。delta[dB]は、露出制御で用いられる露出補正量である。
【００４３】
【数２】
2016001809.tif 000004
【００４４】
ただし、式（２）において、Yave'は、Yaveから予測される輝度情報の平均値である。delta[dB]は、露出補正量である。
【００４５】
【数３】
2016001809.tif 000005
【００４６】
ただし、式（３）において、Ymax'は、Ymaxから予測される輝度情報の最大値である。また、Ymax'≦MAXLIMIT（物理的な輝度最大値）の関係を満たすものとする。delta[dB]は、露出補正量である。
【００４７】
なお、上述した式（１）乃至式（３）を演算することで求められる予測の輝度情報としての、Ymin'，Yave'，Ymax'は、Ymin'≦Yave'≦Ymax'の関係を常に満たしており、さらに、それらの値の間隔は適度に開いているものとする。また、ここでは、輝度情報の最小値（Ymin）、平均値（Yave）、及び、最大値（Ymax）の３点を用いるとして説明しているが、その点数は定まったものではなく、任意の点を用いることができる。
【００４８】
そして、このようにして求められた予測の輝度情報（Ymin'，Yave'，Ymax'）を用いて変調カーブＸ（図４）を生成することで、この変調カーブＸによって、入力データとしての階調変換前の合成データ（例えば14ビットの階調）が、出力データとしての階調変換後の合成データ（例えば10ビットの階調）に階調変換され、階調圧縮される。
【００４９】
具体的には、図４の露出オーバー設定時においては、階調変換前の合成データを検波することで得られる輝度情報を表しているヒストグラムＣにおける、最小値（Ymin(C)）、平均値（Yave(C)）、及び、最大値（Ymax(C)）の３点と、露出制御で用いられる露出補正量（delta）を用い、式（１）乃至式（３）を演算する。これにより、予測の輝度情報として、最小値（Ymin'(C)）、平均値（Yave'(C)）、及び、最大値（Ymax'(C)）が求められ、これらの予測の輝度情報を用いることで、変調カーブＸが生成される。
【００５０】
そして、露出オーバー設定時のヒストグラムＣを、変調カーブＸに従って変換することで、階調圧縮されたヒストグラムＣ''が得られる。このようにして階調圧縮されたヒストグラムＣ''は、図４に示すように、露出補正の効果が反映されたものとなる。
【００５１】
また、図４の露出アンダー設定時においては、階調変換前の合成データを検波することで得られる輝度情報を表しているヒストグラムＥにおける、最小値（Ymin(E)）、平均値（Yave(E)）、及び、最大値（Ymax(E)）の３点と、露出制御で用いられる露出補正量（delta）を用い、式（１）乃至式（３）を演算する。これにより、予測の輝度情報として、最小値（Ymin'(E)）、平均値（Yave'(E)）、及び、最大値（Ymax'(E)）が求められ、これらの予測の輝度情報を用いて変調カーブＸが生成される。
【００５２】
そして、露出アンダー設定時のヒストグラムＥを、変調カーブＸに従って変換することで、階調圧縮されたヒストグラムＥ''が得られる。このようにして階調圧縮されたヒストグラムＥ''は、図４に示すように、露出補正の効果が反映されたものとなる。
【００５３】
なお、図４の露出補正オフ時においては、ヒストグラムＤにおける輝度情報（最小値（Ymin(D)）、平均値（Yave(D)）、及び、最大値（Ymax(D)））から、変調カーブＸが生成されるので、露出補正オフ時のヒストグラムＤを、変調カーブＸに従って変換することで、階調圧縮されたヒストグラムＤ''が得られることになる。
【００５４】
以上のように、露出補正を行った場合には、自動階調変換制御の対象となる合成データには、露出補正量が加味されており、この合成データを検波して得られる輝度情報（例えば、Ymin，Yave，Ymax）を用いて最適な変調カーブが生成されると、図３に示したように、この輝度情報（例えば、Ymin，Yave，Ymax）自体が、本来の輝度情報に対して、露出アンダー又は露出オーバーとなっていることが原因で、合成データに対する露出補正を実現することができなかった。換言すれば、階調変換で用いられる輝度情報に、露出補正量が加味されていなければ、合成データに対する露出補正を実現することができる。
【００５５】
そこで、図４に示したように、本技術では、階調変換で用いられる輝度情報として、合成データを検波して得られる輝度情報（例えば、Ymin，Yave，Ymax）と、露出制御で用いられる露出補正量（delta）から求められる予測の輝度情報（例えば、Ymin'，Yave'，Ymax'）を用いて最適な変調カーブを生成し、この変調カーブによって、合成データを階調変換することで、露出補正の効果が反映された合成データが得られるようにしている。
【００５６】
＜２．撮像装置の構成＞
【００５７】
次に、図４の予測の輝度情報を用いた階調変換制御を行うことが可能な、本技術を適用した撮像装置について説明する。図５は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。
【００５８】
図５の撮像装置１００は、例えばデジタルスチルカメラやスマートフォン、携帯電話機などの撮像機能を備える電子機器である。撮像装置１００は、ユーザ２００の操作に応じて、撮像処理を行い、被写体の撮像画像の画像データを記録する。また、撮像装置１００は、通常の撮像処理を行う通常撮像モードのほか、HDRモードでの撮像が可能であって、ハイダイナミックレンジ合成画像を生成することができる。
【００５９】
図５において、撮像装置１００は、露出補正値設定部１１１、撮像部１１２、露出制御部１１３、信号合成部１１４、合成制御部１１５、階調変換部１１６、階調制御部１１７、信号処理部１１８、画像処理部１１９、及び、記録メディア１２０から構成される。
【００６０】
露出補正値設定部１１１は、ユーザ２００の操作に応じて露出補正値（例えば、1/3EV，-4/3EV等）を設定する。露出補正値設定部１１１は、露出補正値が設定された場合には、その露出補正値を、露出制御部１１３が露出補正を制御可能な単位に変換し、それにより得られる露出補正量を、露出制御部１１３及び階調制御部１１７に供給する。換言すれば、露出補正値設定部１１１は、露出補正値に対応する露出補正量を設定する露出補正量設定部であるとも言える。
【００６１】
撮像部１１２は、例えば、CMOS（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子などから構成され、レンズ（不図示）を通過して入射する光学像を、画素ごとに光電変換により電圧値からなる電気信号に変換して蓄積し、これを撮像データとして信号合成部１１４に供給する。
【００６２】
また、撮像部１１２は、露出制御部１１３からの制御に従い、露出を調整する。露出制御部１１３は、上述した自動露出制御を実現するためのブロックである。露出制御部１１３は、露出補正値設定部１１１からの露出補正量に基づいて、撮像部１１２の露出を制御して、露出補正を行う。撮像部１１２は、HDRモードが設定されている場合には、露出制御部１１３により設定される異なる複数の露出量で、例えば長時間露出の撮像データや短時間露出の撮像データ等の複数の撮像データを生成し、信号合成部１１４に供給する。
【００６３】
信号合成部１１４は、合成制御部１１５からの制御に従い、HDRモードが設定されている場合に、撮像部１１２からの複数の撮像データを合成して、合成データを生成し、階調変換部１１６に供給する。なお、信号合成部１１４は、通常撮像モードが設定されている場合には、撮像部１１２から供給される撮像データをそのまま、階調変換部１１６に供給する。
【００６４】
合成制御部１１５は、例えば、露出制御部１１３による露出制御に応じた合成比率となるように、信号合成部１１４による複数の撮像データの合成処理を制御する。これにより、例えば、長時間露出の撮像データや短時間露出の撮像データ等の撮像データが合成され、その結果得られる合成データが、階調変換部１１６に供給される。
【００６５】
階調変換部１１６は、通常撮像モードが設定されている場合、階調制御部１１７からの制御に従い、信号合成部１１４からの撮像データを階調変換し、その結果得られる階調圧縮された撮像データを、信号処理部１１８に供給する。また、階調変換部１１６は、HDRモードが設定されている場合には、階調制御部１１７からの制御に従い、信号合成部１１４からの合成データを階調変換し、その結果得られる階調圧縮された合成データを、信号処理部１１８に供給する。
【００６６】
階調制御部１１７は、上述した自動階調変換制御を実現するためのブロックである。また、階調制御部１１７は、HDRモードが設定されている場合には、露出補正値設定部１１１からの露出補正量に基づいて、階調変換部１１６において、予測の輝度情報を用いた階調変換（図４）が行われるように制御を行う。
【００６７】
信号処理部１１８は、階調変換部１１６からの撮像データ又は合成データに対して、カメラ信号処理を施し、その結果得られる撮像データ又は合成データを、画像処理部１１９に供給する。画像処理部１１９は、信号処理部１１８からの撮像データ又は合成データに対して、例えばJPEG（Joint Photographic Experts Group）形式のファイルに圧縮符号化するなどの画像処理を施し、その結果得られる画像データのファイルを、記録メディア１２０に記録する。
【００６８】
＜３．撮像処理の流れ＞
【００６９】
次に、図６のフローチャートを参照して、図５の撮像装置１００により実行される撮像処理の流れについて説明する。この撮像処理は、例えば、ユーザ２００によりシャッタボタンの押下等の撮像操作が行われた場合に実行される。また、撮像装置１００では、ユーザ２００の操作により、露出補正値（例えば、1/3EV，-4/3EV等）があらかじめ設定されているものとする。
【００７０】
ステップＳ１１１においては、撮像装置１００の撮像モードとして、HDRモードが設定されているかどうかが判定される。ステップＳ１１１において、HDRモードが設定されていると判定された場合、処理は、ステップＳ１１２に進められる。
【００７１】
ステップＳ１１２において、露出制御部１１３は、露出補正値設定部１１１からの露出補正量に基づいて、露出補正を行い、撮像部１１２の露出を制御する。これにより、撮像部１１２は、ステップＳ１１２における露出制御部１１３からの制御に従い、露出を調整する。
【００７２】
ステップＳ１１３において、撮像部１１２は、露出制御部１１３により設定される異なる複数の露出量で、例えば、長時間露出の撮像データや短時間露出の撮像データ等の複数の撮像データを取得（生成）し、信号合成部１１４に供給する。
【００７３】
ステップＳ１１４において、信号合成部１１４は、合成制御部１１５からの制御に従い、撮像部１１２からの複数の撮像データを合成して、合成データを生成し、階調変換部１１６に供給する。
【００７４】
ステップＳ１１５において、階調制御部１１７は、露出補正値設定部１１１からの露出補正量に基づいて、階調変換部１１６において、予測の輝度情報を用いた階調変換（図４）が行われるように制御を行う。
【００７５】
ステップＳ１１６において、階調変換部１１６は、ステップＳ１１５における階調制御部１１７からの制御に従い、信号合成部１１４からの合成データ（階調変換前の合成データ）を階調変換し、階調圧縮された合成データ（階調変換後の合成データ）を、信号処理部１１８に供給する。
【００７６】
ステップＳ１１７において、信号処理部１１８は、階調変換部１１６からの合成データに対して、カメラ信号処理を施し、その結果得られる合成データを、画像処理部１１９に供給する。
【００７７】
ステップＳ１１８において、画像処理部１１９は、信号処理部１１８からの合成データに対して、例えばJPEG形式のファイルに圧縮符号化するなどの画像処理を施し、その結果得られる画像データのファイルを、記録メディア１２０に記録する。これにより、撮像装置１００では、ハイダイナミックレンジ合成画像に対応する画像データのファイルが記録されることになる。
【００７８】
なお、ステップＳ１１１において、HDRモードが設定されていない、すなわち、通常撮像モードが設定されていると判定された場合、処理は、ステップＳ１１９に進められる。ステップＳ１１９においては、通常の撮像処理が行われ、通常の撮像画像に対応する画像データのファイルが、記録メディア１２０に記録される。
【００７９】
以上、撮像処理の流れについて説明した。この撮像処理においては、HDRモードが設定されている場合に、露出制御部１１３による露出補正量を用いた露出補正（Ｓ１１２）と、階調制御部１１７による露出補正量を用いた階調変換制御（Ｓ１１５）によって、露出補正が実現される。その結果、ハイダイナミックレンジ合成画像に対して、ユーザが所望する露出補正を行うことができる。
【００８０】
（露出補正が施されたハイダイナミックレンジ合成画像の例）
図７は、露出補正が施されたハイダイナミックレンジ合成画像の例を示す図である。
【００８１】
図７においては、本技術を適用した階調変換制御（図４）を行った場合のハイダイナミックレンジ合成画像（図中の下側の３枚の適用後画像）のほかに、本技術を適用していない階調変換制御（図３）を行った場合のハイダイナミックレンジ合成画像（図中の上側３枚の適用前画像）を示すことで、本技術の適用前後におけるハイダイナミックレンジ合成画像に対する露出補正の効果を明示している。
【００８２】
図７の上側３枚の適用前画像には、図３の階調変換制御が行われているため、適正露出のほか、露出オーバー設定時（+1EV）と、露出アンダー設定時（-1EV）においても出力データのレンジ内の同じ値に変換されることになり、それらのヒストグラムは、同一のレンジとなる。その結果、ユーザが露出補正値を設定していても、適用前画像に対して露出補正の効果がほとんど反映されることはなく、３枚の適用前画像は、同じような明るさの画像となる。
【００８３】
一方、図７の下側３枚の適用後画像には、図４の階調変換制御によって、予測の輝度情報を用いて生成された変調カーブにより階調変換が行われているため、露出オーバー設定時（+1EV）においては、適正露出よりも明るい画像となり、露出アンダー設定時（-1EV）においては、適正露出よりも暗い画像となる。つまり、適用後画像に対しては露出補正の効果が反映されていることになる。
【００８４】
このように、本技術を適用した階調変換制御（図４）を行うことで、ハイダイナミックレンジ合成画像に対して、ユーザが所望する露出補正を行うことができる。
【００８５】
また、本技術では、露出制御と階調変換制御によって、露出補正を実現しているため、階調変換のみでの露出制御と比べて、より高画質なハイダイナミックレンジ合成画像を得ることができる。つまり、合成後の画像に対して階調変換を行うことで露出補正を行うことはできるが、露出オーバー補正を行った場合には低輝度部のノイズが目立ち、露出アンダー補正を行った場合には高輝度部で飽和に近い部分の色再現が良くないなど、高画質な画像が得られないという問題点があるが、露出制御と階調変換制御によって、露出補正を実現することで、その問題点を解決することができる。
【００８６】
さらに、撮像装置１００（図５）において、露出補正を行う露出補正手段としての露出制御部１１３や階調制御部１１７は、マイクロプロセッサとそのマイクロプロセッサが実行する補正用プログラムによりソフトウェア的に実現されるため、特別なハードウェア回路を新たに追加する必要がなく、比較的安価に実現することができる。また、既存の撮像装置１００に対しても、補正用プログラムを更新することで、対応することが可能となる。
【００８７】
＜４．変形例＞
【００８８】
（露出補正量に係数を乗算）
図８は、露出補正量に係数を乗算して得られる予測値を用いた階調変換制御を説明する図である。図８において、横軸（Ｘ軸）は階調変換前の入力データを表し、縦軸（Ｙ軸）は階調変換後の出力データを表している。
【００８９】
図８においては、Ｘ軸の入力データとして、階調変換前の合成データについての、露出オーバー設定時のヒストグラムＣと、露出補正オフ時のヒストグラムＤと、露出アンダー設定時のヒストグラムＥが図示されている。また、Ｙ軸の出力データとして、階調変換後の合成データについての、露出オーバー設定時のヒストグラムＣ'''と、露出補正オフ時のヒストグラムＤ'''と、露出アンダー設定時のヒストグラムＥ'''が図示されている。
【００９０】
図８の階調変換制御では、階調変換前の合成データを検波することで得られる輝度情報と、露出制御で用いられる露出補正量に加えて、露出補正量に乗算するための係数を用い、下記の式（４）乃至式（６）を演算することで、露出補正量を加味した予測の輝度情報を求める。
【００９１】
【数４】
2016001809.tif 000006
【００９２】
ただし、式（４）において、Ymin''は、Yminから予測される輝度情報の最小値である。また、Ymin''≧MINLIMIT（物理的な輝度最小値）の関係を満たすものとする。k1は、露出補正量（delta[dB]）に対する適用率を意味し、露出補正の効き具合を調整することができる。
【００９３】
【数５】
2016001809.tif 000007
【００９４】
ただし、式（５）において、Yave''は、Yaveから予測される輝度情報の平均値である。k2は、露出補正量（delta[dB]）に対する適用率を意味し、露出補正の効き具合を調整することができる。
【００９５】
【数６】
2016001809.tif 000008
【００９６】
ただし、式（６）において、Ymax''は、Ymaxから予測される輝度情報の最大値である。また、Ymax''≦MAXLIMIT（物理的な輝度最大値）の関係を満たすものとする。k3は、露出補正量（delta[dB]）に対する適用率を意味し、露出補正の効き具合を調整することができる。
【００９７】
なお、上述した式（４）乃至式（６）を演算することで求められるYmin''，Yave''，Ymax''は、Ymin''≦Yave''≦Ymax''の関係を常に満たしており、それらの間隔は適度に開いているものとする。
【００９８】
そして、図４の階調変換制御と同様に、式（４）乃至式（６）を演算することで求められる予測の輝度情報を用いて変調カーブＹ（図８）を生成することで、この変調カーブＹによって、入力データとしての階調変換前の合成データ（例えば14ビットの階調）が、出力データとしての階調変換後の合成データ（例えば10ビットの階調）に階調変換され、階調圧縮される。
【００９９】
以上のように、Ymin''，Yave''，Ymax''を演算する際に用いられる露出補正量（delta）に対し、それぞれ異なる係数k1，k2，k3を適用して、露出補正量に若干の違いを持たせることで、より自然な露出補正が可能となる。なお、上述した露出補正量に係数を乗算する方法は、露出補正量に違いを持たせるための方法の一例であって、他の方法を採用するようにしてもよい。
【０１００】
（輝度情報をlog換算）
露出補正量を加味した予測の輝度情報を、式（１）乃至式（３）を演算して求める際に、輝度情報（例えば、Ymin，Yave，Ymax）をlog換算して得られる換算値（例えば、MIN値，AVE値，MAX値）を用いることで、式（１）乃至式（３）の演算を加減算のみで行うことができるため、演算量を減らすことができる。
【０１０１】
（予測値を出力データ側で適用）
上述した図４の階調変換制御では、予測値としての予測の輝度情報を、入力データ側（Ｘ軸）で適用する場合を説明したが、予測値としての予測の輝度情報は、入力データ側（Ｘ軸）で適用するのではなく、出力データ側（Ｙ軸）で適用するようにしてもよい。
【０１０２】
図９は、予測値を出力データ側で適用した場合の階調変換制御を説明する図である。図９において、横軸（Ｘ軸）は階調変換前の入力データの表し、縦軸（Ｙ軸）は階調変換後の出力データを表している。
【０１０３】
図９においては、Ｘ軸の入力データとして、階調変換前の合成データについてのヒストグラムＦが図示されている。ここで、ヒストグラムＦにおける、最小値（Ymin(F)）、平均値（Yave(F)）、及び、最大値（Ymax(F)）の３点を用いて、変調カーブＺを生成する。そして、ヒストグラムＦを、変調カーブＺに従って変換することで、階調圧縮されたヒストグラムＦ'が得られる。
【０１０４】
そして、階調変換されたヒストグラムＦ'に、予測値としての予測の輝度情報を適用することで、ヒストグラムＦ''が得られる。このように、予測値としての予測の輝度情報を、出力データ側（Ｙ軸）で適用して、階調変換後の合成データについてのヒストグラムＦ'を、ヒストグラムＦ''に可変することで、露出補正の効果が反映された合成データが得られることになる。
【０１０５】
（半導体装置の構成例）
上述した図５の撮像装置１００において、撮像部１１２、露出制御部１１３、信号合成部１１４、合成制御部１１５、階調変換部１１６、階調制御部１１７、及び、信号処理部１１８は、CMOSイメージセンサ等の半導体装置として構成されるようにすることができる。ただし、この半導体装置の構成は一例であって、例えば、信号処理部１１８を構成から外すなど、一部の構成要素が外部に設けられるようにしてもよい。
【０１０６】
図１０は、固体撮像装置の構成例を示している。図１０において、固体撮像装置３００は、第１のチップ（上チップ）３１１と、第２のチップ（下チップ）３１２からなる積層構造を有する。このような上下２チップの積層構造において、第１のチップ３１１は、CMOSイメージセンサチップとして構成され、上述した半導体装置の構成要素のうち、例えば、撮像部１１２を含んでいる。なお、CMOSイメージセンサとしては、例えば、裏面照射型のCMOSイメージセンサを用いることができる。
【０１０７】
また、第２のチップ３１２は、第１のチップ３１１の制御回路及び画像処理回路を含むロジックチップとして構成され、上述した半導体装置の構成要素のうち、例えば、露出制御部１１３、信号合成部１１４、合成制御部１１５、階調変換部１１６、階調制御部１１７、及び、信号処理部１１８を含んでいる。
【０１０８】
（画素単位での露出制御）
上述した説明では、フレーム単位での露出制御について説明したが、画素単位で露出制御を行ってもよい。このような画素単位での露出制御については、例えば、特許第４６６１９２２号（特開２０１０−６２７８５号公報）において既に提案されている。特許第４６６１９２２号には、連続的に長時間露光を行う画素と、断続的に短時間露光を繰り返しその都度出力する画素とが市松状に配置されている固体撮像素子が開示されている。
【０１０９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１０】
また、本技術は、以下のような構成をとることができる。
【０１１１】
（１）
被写体を撮像して、撮像データを生成する撮像部と、
前記撮像部の露出量を補正するための露出補正量を設定する露出補正量設定部と、
前記露出補正量設定部により設定された前記露出補正量に基づいて、前記撮像部の露出を制御する露出制御部と、
前記露出制御部により設定される異なる複数の露出量で、前記撮像部により撮像される複数の撮像データを合成して、合成データを生成する信号合成部と、
前記信号合成部により生成された前記合成データの階調を変換する階調変換部と、
前記露出補正量設定部により設定された前記露出補正量に基づいて、前記階調変換部による階調変換を制御する階調制御部と
を備える撮像装置。
（２）
前記階調制御部は、前記露出補正量設定部により設定された前記露出補正量と、前記合成データの輝度情報を用い、露出補正前の合成データを予測して、その予測の結果に応じて生成される変調カーブに従い、前記階調変換部による階調変換を制御する
（１）に記載の撮像装置。
（３）
前記階調制御部は、前記合成データの輝度情報として、その輝度情報における最小値、平均値、及び、最大値を用いる
（２）に記載の撮像装置。
（４）
前記階調制御部は、露出補正前の合成データを予測するための露出補正量が、前記撮像部の露出量を補正するための露出補正量と異なるようにする
（２）又は（３）に記載の撮像装置。
（５）
撮像装置の撮像方法において、
前記撮像装置が、
被写体を撮像して、撮像データを生成し、
撮像部の露出量を補正するための露出補正量を設定し、
設定された前記露出補正量に基づいて、前記撮像部の露出を制御し、
異なる複数の露出量で前記撮像部により撮像される複数の撮像データを合成して、合成データを生成し、
設定された前記露出補正量に基づいて、生成された前記合成データの階調変換を制御し、
生成された前記合成データの階調を変換する
ステップを含む撮像方法。
【符号の説明】
【０１１２】
１００  撮像装置，  １１１  露出補正値設定部，  １１２  撮像部，  １１３  露出制御部，  １１４  信号合成部，  １１５  合成制御部，  １１６  階調変換部，  １１７  階調制御部，  １１８  信号処理部，  １１９  画像処理部，  １２０  記録メディア，  ３００  固体撮像装置，  ３１１  第１のチップ，  ３１２  第２のチップ
【図１】
2016001809.tif 000009
【図２】
2016001809.tif 000010
【図３】
2016001809.tif 000011
【図４】
2016001809.tif 000012
【図５】
2016001809.tif 000013
【図６】
2016001809.tif 000014
【図７】
2016001809.tif 000015
【図８】
2016001809.tif 000016
【図９】
2016001809.tif 000017
【図１０】
2016001809.tif 000018