(57)【要約】【課題】高感度の光電変換特性で撮像された画素の累積度数が一定の割合となるように被写体を撮像する。【解決手段】輝度分布検出部６０２は、特性変換部６０１から出力された画像データの輝度分布を検出し、評価データとして制御部１０２に出力する。制御部１０２は、累積度数が、下限値Ｔｈ１、上限値Ｔｈ２の所定の度数許容範囲の値を持つか否かを判定する。累積度数が下限値Ｔｈ１以下の場合、制御部１０２は露光時間を短くする。累積度数が上限値Ｔｈ２以上の場合、制御部１０２は露光時間を長くする。【選択図】図１１
2014007437.tif 000002
【特許請求の範囲】
【請求項１】
第１光電変換特性と、前記第１光電変換特性よりも感度の低い第２光電変換特性とで被写体を撮像する撮像部と、
前記撮像部で撮像された画像の輝度分布を検出する輝度分布検出部と、
前記撮像部の露光時間を制御する制御部とを備え、
前記制御部は、前記輝度分布に基づき、前記第１光電変換特性により撮像されている画素の累積度数を検出し、当該累積度数が所定の度数許容範囲を満たすように前記露光時間を制御する撮像装置。
【請求項２】
前記第１光電変換特性は線形特性であり、
前記第２光電変換特性は対数特性であり、
前記線形特性及び対数特性を基準光電変換特性に変換する特性変換部を更に備え、
前記輝度分布検出部は、前記基準光電変換特性に変換された画像の輝度分布を検出する請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記線形特性と前記対数特性との変曲点の画素値が前記露光時間の制御の前後で一定となるように前記変曲点の画素値を調整する請求項２記載の撮像装置。
【請求項４】
前記撮像部は、多重露光により前記被写体を撮像して前記第１、第２光電変換特性の第１、第２画像を取得し、
所定光量以上の画像が前記第２画像となるように前記第１、第２画像を合成する合成部を更に備え、
前記輝度分布検出部は、前記合成部により合成された画像の輝度分布を検出する請求項１記載の撮像装置。
【請求項５】
前記制御部は、前記第１光電変換特性の露光時間の制御に連動させて前記第２光電変換特性の露光時間を制御する請求項４記載の撮像装置。
【請求項６】
前記制御部は、前記輝度分布検出部により検出された輝度分布に基づき、前記基準光電変換特性に変換された画像の明るさを一定の明るさにするための感度増幅率を算出し、
前記感度増幅率で前記画像の感度を増幅する感度増幅部を更に備える請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記制御部は、前記輝度分布に基づき、変曲点の画素値以下の画素の画素値の平均値を求め、求めた平均値が所定の目標輝度範囲に入るように前記感度増幅率を設定する請求項６記載の撮像装置。
【請求項８】
前記制御部は、前記輝度分布において所定の制御点を検出し、前記感度制御部により前記感度増幅率で増幅された画像を入力画像とし、前記入力画像の前記制御点における画素値が規定値になるように前記入力画像の入出力特性を変換する変換特性を求め、
前記変換特性で前記入力画像の入出力特性を変換する入出力特性変換部を更に備える請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
前記制御点は、変曲点の画素値以下の画素の画素値の平均値と、最大画素値とを少なくとも含む請求項８記載の撮像装置。
【請求項１０】
前記制御部は、前記輝度分布に基づき撮像シーンを判定し、前記撮像シーンが夜間である場合、撮像シーンが昼間である場合よりも前記度数許容範囲を高く設定する請求項１〜９のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感度の異なる複数の光電変換特性で被写体を撮像する撮像装置に関するものである。
【背景技術】
【０００２】
近年、高ダイナミックレンジ且つ高感度な画像を取得するために感度の異なる複数の光電変換特性で被写体を撮像する撮像装置が知られている。
【０００３】
例えば、特許文献１には、明暗差が大きな被写体であっても、カメラ出力が飽和することなく、高コントラストな画像を取得することを目的として、入射光量に応じて区切られた複数の領域ごとにことなる入出力特性を持つ撮像手段を備え、映像輝度信号の平均値から画面光量Ｋを求め、画面光量Ｋが光量目標値Ｒと一致するように撮像手段を調整することが開示されている。
【０００４】
また、特許文献１には、撮像手段の入出力特性の領域の最も低照度側の切り替わり点の光量Ｑと光量目標値Ｒとが、Ｒ＜Ｑとなるように光量目標値Ｒを設定することが開示されている。
【０００５】
また、特許文献１には、撮像手段から出力された映像輝度信号において、映像輝度信号が０になった画素の総数が所定値（例えば光量検出領域の１％）を上回ったときに黒つぶれであると判定することが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２３７８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、映像輝度信号の平均値に基づき、切り替わり点が制御されているため、被写体の輝度分布によっては、線形領域で撮影される画素数が大きく減少し、高感度で撮像される画素の個数が減少するという課題がある。すなわち、特許文献１では、被写体の輝度分布に応じて、高感度で撮像される画素の個数が変動し、安定して高感度な画像を取得することができないという課題がある。
【０００８】
また、特許文献１では、高ダイナミックレンジの画像がそのまま出力されてしまうため、低ダイナミックレンジの表示器にて表示するとコントラストの低い画像となって表示されるという課題がある。
【０００９】
本発明の目的は、高感度の光電変換特性で撮像された画素の累積度数が一定の割合となるように被写体を撮像する撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
（１）本発明による撮像装置は、第１光電変換特性と、前記第１光電変換特性よりも感度の低い第２光電変換特性とで被写体を撮像する撮像部と、前記撮像部で撮像された画像の輝度分布を検出する輝度分布検出部と、前記撮像部の露光時間を制御する制御部とを備え、前記制御部は、前記輝度分布に基づき、前記第１光電変換特性により撮像されている画素の累積度数を検出し、当該累積度数が所定の度数許容範囲を満たすように前記露光時間を制御する。
【００１１】
この構成によれば、感度が異なる第１、第２光電変換特性（但し、感度は第１光電変換特性＞第２光電変換特性）により被写体が撮像され、得られた画像の輝度分布が検出される。そして、検出された輝度分布から高感度である第１光電変換特性に撮像されている画素の累積度数が検出され、その累積度数が所定の度数許容範囲を満たすように露光時間が調整される。
【００１２】
ここで、露光時間を長くすると感度は向上するが、第１光電変換特性により撮像されている画素の累積度数が減少するという特性がある。一方、露光時間を短くすると感度は低下するが、第１光電変換特性により撮像された高感度の画素の累積度数が増大するという特性がある。
【００１３】
よって、この特性を利用することで、第１光電変換特性で撮像されている画素の画像全体に占める割合を所定範囲内に調整することができ、安定して高感度な画像を得ることができる。
【００１４】
（２）前記第１光電変換特性は線形特性であり、前記第２光電変換特性は対数特性であり、前記線形特性及び対数特性を基準光電変換特性に変換する特性変換部を更に備え、前記輝度分布検出部は、前記基準光電変換特性に変換された画像の輝度分布を検出することが好ましい。
【００１５】
この構成によれば、線形領域の画素の累積度数が度数許容範囲になるように露光時間が調整されるため、線形対数特性を持つ画像において、高感度の画像を得ることができる。
【００１６】
（３）前記制御部は、前記線形特性と前記対数特性との変曲点の画素値が前記露光時間の制御の前後で一定となるように前記変曲点の画素値を調整することが好ましい。
【００１７】
この構成によれば、変曲点の画素値が露光時間の調整の前後で一定にされるため、露光時間の調整の前後で対数領域を維持することができる。
【００１８】
（４）前記撮像部は、多重露光により前記被写体を撮像して前記第１、第２光電変換特性の第１、第２画像を取得し、所定光量以上の画像が前記第２画像となるように前記第１、第２画像を合成する合成部を更に備え、前記輝度分布検出部は、前記合成部により合成された画像の輝度分布を検出することが好ましい。
【００１９】
この構成によれば、多重露光を採用した場合において、高感度の画像を得ることができる。
【００２０】
（５）前記制御部は、前記第１光電変換特性の露光時間の制御に連動させて前記第２光電変換特性の露光時間を制御することが好ましい。
【００２１】
この構成によれば、第１光電変換特性の露光時間の制御に連動させて第２光電変換特性の露光時間が制御されるため、ダイナミックレンジを維持しつつ、高感度の画像を得ることができる。
【００２２】
（６）前記制御部は、前記輝度分布検出部により検出された輝度分布に基づき、前記基準光電変換特性に変換された画像の明るさを一定の明るさにするための感度増幅率を算出し、前記感度増幅率で前記画像の感度を増幅する感度増幅部を更に備えることが好ましい。
【００２３】
この構成によれば、画像全体の明るさが一定になるように画像の感度が増幅されるため、全体的に暗い画像や、全体的に明るすぎる画像になることを防止することができる。
【００２４】
（７）前記制御部は、前記輝度分布に基づき、変曲点の画素値以下の画素の画素値の平均値を求め、求めた平均値が所定の目標輝度範囲に入るように前記感度増幅率を設定することが好ましい。
【００２５】
この構成によれば、変曲点の画素値以下の画素の画素値の平均値が所定の目標輝度範囲に入るように感度増幅率が設定されるため、高感度でありながら、明るすぎず又は暗すぎない画像を得ることができる。
【００２６】
（８）前記制御部は、前記輝度分布において所定の制御点を検出し、前記感度制御部により前記感度増幅率で増幅された画像を入力画像とし、前記入力画像の前記制御点における画素値が規定値になるように前記入力画像の入出力特性を変換する変換特性を求め、前記変換特性で前記入力画像の入出力特性を変換する入出力特性変換部を更に備えることが好ましい。
【００２７】
この構成によれば、制御点の画素値が規定値になるような変換特性が求められ、その変換特性を用いて入力画像の入出力特性が変換されるため、輝度分布に基づいて入力画像の入出力特性を変換することができる。ここで、変換特性としては、例えばダイナミックレンジ圧縮処理に適用される圧縮特性やガンマ補正に適用される階調特性を採用することができる。
【００２８】
（９）前記制御点は、変曲点の画素値以下の画素の画素値の平均値と、最大画素値とを少なくとも含むことが好ましい。
【００２９】
この構成によれば、変曲点以下の画素の画素値の平均値と最大画素値とが規定値を維持するように入力画像の入出力特性を変換することができる。
【００３０】
（１０）前記制御部は、前記輝度分布に基づき撮像シーンを判定し、前記撮像シーンが夜間である場合、撮像シーンが昼間である場合よりも前記度数許容範囲を高く設定することが好ましい。
【００３１】
夜間の場合は、輝度分布において暗部側と明部側との両側に画素が多く分布する傾向にある。一方、昼間では、中間域に画素が分布する傾向にある。したがって、昼間を基準に設定された度数許容範囲を用いて夜間の画像の露光時間を制御した場合、画素最大値が撮像部の飽和レベルを超えて画像が飽和するおそれがある。
【００３２】
本構成では、夜間の場合、昼間の場合よりも度数許容範囲が高い側に設定される。これにより、夜間において画像の飽和を防止することができる。
【発明の効果】
【００３３】
本発明によれば、第１光電変換特性で撮像されている画素の画像全体に占める割合を所定範囲内に調整することができ、安定して高感度な画像を得ることができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１による撮像装置の全体構成図である。
【図２】（ａ）は、撮像部が備える画素の回路図であり、（ｂ）は（ａ）に示す画素が持つ光電変換特性を示したグラフである。
【図３】本発明の実施の形態２における画素が持つ光電変換特性を示したグラフである。
【図４】撮像部の露光時間と光電変換特性との関係を示したグラフである。
【図５】露光時間のみ調整し、変曲点画素値を調整しなかった場合の画素の光電変換特性である。
【図６】図１に示す画像処理部の詳細な構成を示すブロック図である。
【図７】特性変換部の詳細な構成を示したブロック図である。
【図８】特性変換部の処理を説明するためのグラフである。
【図９】（ａ）は、輝度分布検出部の詳細な構成を示すブロック図であり、（ｂ）は、輝度分布検出部が検出する輝度分布の一例を示したグラフである。
【図１０】（ａ）は、感度増幅部の詳細な構成を示すブロック図であり、（ｂ）は感度増幅部による処理を説明するグラフである。
【図１１】ＤＲ圧縮部の詳細な構成を示すブロック図である。
【図１２】（ａ）は照明成分抽出部に入力される入力画像を示し、（ｂ）は照明成分抽出部から出力される照明成分画像及び圧縮部から出力される圧縮画像、（ｃ）は反射率成分抽出部から出力される反射率成分画像、（ｄ）は合成部から出力される出力画像の特性を示した図である。
【図１３】露光時間と光電変換特性との関係を示すグラフであり、縦軸は画素値を示し、横軸は光量を対数で示している。
【図１４】露光時間と輝度分布との関係の説明図である。
【図１５】本発明の実施の形態１による撮像装置が露光時間を制御する際の処理を示すフローチャートである。
【図１６】変曲点画素値を調整しない場合の光電変換特性を示したグラフである。
【図１７】（ａ）は、１フレーム期間中に２つの露光時間を設定し２つの画像データを取得した場合のそれぞれの画像データの光電変換特性を示し、（ｂ）は（ａ）の光電変換特性の異なる２つの画像データが合成されて１つの画像データにされたときの光電変換特性を示している。
【図１８】第１、第２画像データの露光時間が制御される様子を説明するグラフである。
【図１９】本発明の実施の形態２による撮像装置が露光時間を制御する際の処理を示すフローチャートである。
【図２０】夜間と昼間との光量分布の違いを説明する図であり、（ａ）は夜間における光量分布を示し、（ｂ）は昼間における光量分布を示している。
【図２１】画像データの光電変換特性を示したグラフである。
【図２２】撮像シーンの判別処理の説明図であり、（ａ）はある撮像シーンにおける画像データの輝度分布であり、（ｂ）は別の撮像シーンにおける画像データの輝度分布である。
【図２３】撮像シーンの判別処理のフローチャートである。
【図２４】（ａ）は夜間における輝度分布の一例を示し、（ｂ）は昼間における輝度分布の一例を示している。
【図２５】本発明の実施の形態１の撮像装置が第１の方策を採用した場合において、露光時間を制御する際の処理を示すフローチャートである。
【図２６】対数特性に変換された画像データの光電変換特性を示すグラフである。
【図２７】（ａ）は図２６に示す光電変換特性２６０１の輝度分布であり、（ｂ）は図２６に示す光電変換特性２６０２の輝度分布である。
【図２８】感度制御のフローチャートである。
【図２９】圧縮特性を示すグラフである。
【図３０】輝度分布検出部により検出された輝度分布を示している。
【図３１】実施の形態１、２における画像処理部の変形例を示すブロック図である。
【図３２】ガンマ補正部がガンマ補正に使用する階調特性を示したグラフである。
【図３３】本発明の実施の形態２による画像処理部のブロック図である。
【発明を実施するための形態】
【００３５】
（実施の形態１）
図１は、本発明の実施の形態１による撮像装置の全体構成図である。撮像装置は、撮像部１０１、制御部１０２、及び画像処理部１０３を含む。撮像部１０１は、感度が異なる複数の光電変換特性で被写体を撮像する。実施の形態１では、複数の光電変換特性として線形特性及び対数特性が採用され、撮像部１０１は線形特性と対数特性とが変曲点で切り替わる線形対数特性を持つ複数の画素で構成されている。
【００３６】
制御部１０２は、例えばＣＰＵと演算用メモリ等で構成され、不図示の記憶部に格納されたプログラムに従って撮像素子を制御するとともに、画像処理部１０３を制御する。ここで、制御部１０２は、変曲点を調整するための制御データを撮像部１０１に出力する。また、制御部１０２は、画像処理部１０３から出力される評価データにしたがって、画像処理部１０３に種々の画像処理を依頼するための制御データを生成し、画像処理部１０３に出力する。
【００３７】
画像処理部１０３は、撮像部１０１により撮像された画像データが入力され、制御部１０２から出力される制御データにしたがって、所定の画像処理を実行する。
【００３８】
図２（ａ）は、撮像部１０１が備える画素３１ａの回路図であり、（ｂ）は（ａ）に示す画素３１ａが持つ光電変換特性を示したグラフである。
【００３９】
画素３１ａは、フォトダイオードＰＤ、転送トランジスタＱ１、リセットトランジスタＱ２、フローティングディフュージョンＦＤ、出力トランジスタＱ３及び選択トランジスタＱ４を含む。
【００４０】
ＰＶＤＤとＰＶＳＳとは、画素３１ａの電源電位であり、ＰＶＤＤは正側の電源電位を示し、ＰＶＳＳは負側の電源電位を示し、それぞれ、例えば、図略の電源回路により生成される。
【００４１】
画素３１ａの読み出しシーケンスは下記のようになる。露光時間においては、図略の垂直走査回路からφＲＳＴ＝Ｈｉにされ、φＴＸ＝Ｌｏにされ、リセットトランジスタＱ２がオン、転送トランジスタＱ１がオフされ、フローティングディフュージョンＦＤがリセットされている。露光時間が終了すると、φＲＳＴ＝Ｌｏにされ、リセットトランジスタＱ２がオフされる。
【００４２】
次に、φＶＳＥＮ＝Ｈｉにされ、選択トランジスタＱ４がオンする。これにより、フローティングディフュージョンＦＤのリセット状態の電位が、出力トランジスタＱ３を介して、画素３１ａの垂直列毎に共通の垂直信号線３１ｂに、ノイズ信号３１ｎとして出力される。
【００４３】
次に、φＴＸ＝Ｈｉにされて転送トランジスタＱ１がオンする。これにより、ＰＤに光電流Ｉｐが流れてＰＤで蓄積された電荷がフローティングディフュージョンＦＤに転送されて蓄積される。ここで、露光時間において、φＴＸはＬｏとＨｉとの中間の中間電位に設定されている。そのため、光量が低い場合は、フローティングディフュージョンＦＤに蓄積される電荷は線形特性となる。一方、光量が高い場合は、転送トランジスタＱ１のサブスレショルド特性により、フローティングディフュージョンＦＤに蓄積される電荷は対数特性となる。線形特性と対数特性との切り替わり点、即ち変曲点Ｐｔの光量Ｌｐｔは、転送トランジスタＱ１の転送信号φＴＸの設定によって任意に設定できる。
【００４４】
次に、φＶＳＥＮ＝Ｈｉにされ、選択トランジスタＱ４がオンし、フローティングディフュージョンＦＤの電位が、出力トランジスタＱ３を介して、垂直信号線３１ｂに、画素信号３１ｐとして出力される。
【００４５】
出力された画素信号３１ｐは、後段の回路、例えばＡ／Ｄ変換部（図略）等によって、相関二重サンプリング（以下、ＣＤＳと言う）法を用いて、画素信号３１ｐとノイズ信号３１ｎとの差分がとられ、ノイズがキャンセルされた撮像信号３１ｓ（３１ｓ＝３１ｐ−３１ｎ）が得られる。
【００４６】
そして、再度、φＲＳＴ＝Ｈｉにされて露光時間が開始され、次のフレームの撮像が行われる。
【００４７】
図２（ｂ）のグラフにおいて、横軸は光量を対数で示し、縦軸は画素値（撮像信号３１ｓに相当）を線形で示す。変曲点Ｐｔでの光量Ｌｐｔよりも低輝度の状態（Ａ１領域）では、画素値は光量に対して線形に変化しており線形特性を持つ。一方、変曲点Ｐｔの光量Ｌｐｔよりも高輝度の状態（Ａ２領域）では、画素値は光量に対して対数で変化しており対数特性を持つ。よって、画素３１ａは変曲点Ｐｔを境に低輝度側が線形特性、高輝度側が対数特性を持つ線形対数特性の光電変換特性を持っていることが分かる。
【００４８】
図４は、撮像部１０１の露光時間と光電変換特性との関係を示したグラフであり、縦軸は画素値（撮像信号３１ｓ）を線形で示し、横軸は光量を対数で示している。
【００４９】
撮像部１０１の露光時間を制御することにより、撮像部１０１の光電変換特性において、線形領域の感度を変化させることができる。具体的には、露光時間が短くなるにつれて、光電変換特性である線形対数特性は４０１→４０２→４０３と変化する。線形対数特性４０１〜４０３において、線形領域を４０１＿１〜４０３＿１とすると、線形領域は４０１＿１→４０２＿１→４０３＿１の順で傾きが緩やかになっており、感度が減少しているが、その分、線形領域の光量の範囲が対数領域の光量の範囲に比べて増大し、線形領域の画素数が増大する。なお、線形対数特性４０１〜４０３において、対数領域を４０１＿２〜４０３＿２とすると、対数領域４０１＿２〜４０３＿２の傾きは全て一定になっている。
【００５０】
このことから、露光時間を短くすると、線形領域の感度は減少するが、線形領域の光量の範囲が増大し、線形領域の画素数が増大することが分かる。一方、露光時間を長くすると、線形領域の感度は増大するが、線形領域の光量の範囲が減少し、線形領域の画素数が減少することが分かる。したがって、露光時間に応じて線形対数特性の線形領域の画素数を調節することができる。
【００５１】
なお、上記のように読出時間が開始されるとφＲＳＴ＝Ｌｏとなり、読出時間が終了すると、φＲＳＴ＝Ｈｉとなって、露光時間が開始される。つまり、露光時間においては、φＲＳＴ＝Ｈｉとなっている。よって、例えば、φＲＳＴ＝Ｈｉの時間を調整することで露光時間を調整することができる。
【００５２】
図２（ｂ）に示す変曲点Ｐｔの画素値（変曲点画素値Ａ）は、露光時間における転送信号φＴＸを設定することで制御できる。すなわち、転送信号φＴＸがＨｉに近づくにつれて転送トランジスタＱ１のゲートの開度が増大するため、変曲点画素値Ａは低下して、領域Ａ１が減少してダイナミックレンジが増大する。一方、転送信号φＴＸがＬｏに近づくと転送トランジスタＱ１のゲートの開度が減少するため、変曲点画素値Ａは増大して、領域Ａ１が増大してダイナミックレンジが減少する。よって、転送信号φＴＸの電圧レベルを調整することで変曲点画素値Ａを調整することができる。
【００５３】
これを実現するために、例えば、露光時間と、変曲点画素値Ａのレベルを一定にするための転送信号φＴＸの電圧レベルとの関係を予め規定する関数やＬＵＴを制御部１０２に予め持たせておき、この関数やＬＵＴを用いて転送信号の電圧レベルを決定させればよい。
【００５４】
図５は、露光時間のみ調整し、変曲点画素値を調整しなかった場合の画素３１ａの光電変換特性であり、縦軸、横軸は図４と同じである。図５に示すように、露光時間が短くなるにつれて、線形対数特性は、４０１→４０２→４０３と変化している。しかしながら、図５では、変曲点画素値が調整されていないため、線形対数特性は４０１→４０２→４０３と変化するにつれて、変曲点画素値がＡ１→Ａ２→Ａ３と増大している。このことから、変曲点画素値を調整しない場合、露光時間が短くなるにつれて、変曲点画素値が増大することが分かる。そのため、変曲点画素値を調整しない場合、露光時間が短くなるにつれて、対数領域が減少してしまう。
【００５５】
一方、図４の例では、露光時間に関わらず、変曲点画素値Ａが一定になるように、変曲点Ｐｔが制御されている。これにより、露光時間を短くしても対数領域が維持されている。但し、図５の制御を採用した場合、変曲点画素値を制御する必要がなくなるため、制御の簡便化を図ることができる。したがって、本実施の形態では、図４に示すように、露光時間に関わらず変曲点を一定にする制御を採用してもよいし、図５に示すように、露光時間のみ調整し、変曲点を調整しない制御を採用してもよい。
【００５６】
図６は、図１に示す画像処理部１０３の詳細な構成を示すブロック図である。画像処理部１０３は、特性変換部６０１、輝度分布検出部６０２、感度増幅部６０３、ＤＲ（ダイナミックレンジ）圧縮部６０４（入出力特性変換部の一例）を備えている。
【００５７】
特性変換部６０１は、撮像部１０１から画像データが入力され、入力された画像データの光電変換特性を線形対数特性から対数特性（基準光電変換特性の一例）に変換し、変曲点Ｐｔを境に切り替わる光電変換特性を１つの光電変換特性に統一させる。なお、特性変換部６０１は、入力された画像データの光電変換特性を線形対数特性から線形特性に変換して、線形特性に統一してもよい。
【００５８】
輝度分布検出部６０２は、特性変換部６０１から出力された画像データの輝度分布を検出し、輝度分布を評価データとして、制御部１０２に出力する。感度増幅部６０３は、制御部１０２から出力された感度増幅率を示す制御データＤＡを用いて、特性変換部６０１から出力された画像データの感度を増幅する。ここで、感度増幅率としては、画像データの明るさを一定の明るさにするための値が算出される。
【００５９】
ＤＲ圧縮部６０４は、制御部１０２からの制御データＤＢに基づいて、感度増幅部６０３から出力された画像データに対してダイナミックレンジ圧縮処理を実行する。
【００６０】
図７は、特性変換部６０１の詳細な構成を示したブロック図である。特性変換部６０１は、ＬＵＴ７０１を含む。図８は、特性変換部６０１の処理を説明するためのグラフであり、（ａ）は線形対数特性を対数特性に変換する場合を示し、（ｂ）は線形対数特性を線形特性に変換する場合を示している。なお、図８（ａ）、（ｂ）において、縦軸は特性変換部６０１に入力される画素値を示し、横軸は光量を対数で示している。
【００６１】
特性変換部６０１には、線形対数特性の画像データが入力される。ＬＵＴ７０１は、変換前の線形対数特性の画素値に応じた、変換後の対数特性の画素値を予め記憶している。よって、図８（ａ）に示すように特性変換部６０１に入力される線形対数特性の画像データは、ＬＵＴ７０１により光量の全範囲において対数特性を持つ画像データに変換される。
【００６２】
なお、特性変換部６０１が線形対数特性の画像データを線形特性の画像データに変換する場合、ＬＵＴ７０１に、変換前の線形対数特性の画素値に応じた、変換後の線形特性の画素値を予め記憶させればよい。これにより、図８（ｂ）に示すように、特性変換部６０１に入力される線形対数特性の画像データは、ＬＵＴ７０１により光量の全範囲において線形特性を持つ画像データに変換される。
【００６３】
図９（ａ）は、輝度分布検出部６０２の詳細な構成を示すブロック図であり、図９（ｂ）は、輝度分布検出部６０２が検出する輝度分布の一例を示したグラフである。
【００６４】
輝度分布検出部６０２は、ヒストグラム検出部９０１を含む。ヒストグラム検出部９０１は、特性変換部６０１からの画像データが入力され、当該画像データのヒストグラムを検出し、評価データを算出する。ヒストグラム検出部９０１は、入力された画像データにおいて、各画素の画素値（輝度値）の度数を求め、図９（ｂ）に示すような輝度分布を求める。ここで、度数は同じ画素値を持つ画素の数又は画素値が同じ階級に属する画素の数を表す。したがって、ヒストグラム検出部９０１は、入力された画像データにおいて、同じ画素値を持つ画素の数をカウントする、或いは、各画素を画素値に応じて複数の階級に分類し、各階級の画素の数をカウントすることでヒストグラムを検出する。これにより、図９（ｂ）に示すように、画素値（輝度値）と度数との関係を示す輝度分布が得られる。そして、ヒストグラム検出部９０１は、求めた輝度分布を評価データとして、制御部１０２に出力する。
【００６５】
図１０（ａ）は、感度増幅部６０３の詳細な構成を示すブロック図であり、図１０（ｂ）は感度増幅部６０３による処理を説明するグラフである。なお、図１０（ｂ）において、縦軸は、感度増幅部６０３に入力される画像データの画素値を示し、横軸は光量を対数で示している。
【００６６】
感度増幅部６０３は、加減算部１００１を含む。加減算部１００１は、制御部１０２から画像データの感度増幅率が制御データＤＡとして入力され、この感度増幅率を入力された画像データに加算する又は当該画像データから減算することで、画像データの感度を調整する。
【００６７】
図１０（ｂ）に示すように、感度増幅率が画像データに加算されると画像データの感度が増大し、感度増幅率が画像データから減算されると画像データの感度が減少する。
【００６８】
ここで、感度増幅率を加算又は減算することで画像データの感度が調整されているのは、感度増幅部６０３に入力される画像データが対数特性だからである。なお、感度増幅部６０３に線形特性の画像データが入力される場合、感度増幅部６０３は、感度増幅率を画像データに乗じることで、感度を調節する。
【００６９】
図１１は、ＤＲ圧縮部６０４の詳細な構成を示すブロック図である。ＤＲ圧縮部６０４は、照明成分抽出部１２０１、圧縮部１２０２、反射率成分抽出部１２０３、及び合成部１２０４を備えている。図１２（ａ）は照明成分抽出部１２０１に入力される入力画像Ｄ１２０１を示し、図１２（ｂ）は照明成分抽出部１２０１から出力される照明成分画像Ｄ１２０２及び圧縮部１２０２から出力される圧縮画像Ｄ１２０４、図１２（ｃ）は反射率成分抽出部１２０３から出力される反射率成分画像Ｄ１２０３、図１２（ｄ）は合成部１２０４から出力される出力画像Ｄ１２０５の特性を示した図である。なお、図１２（ａ）〜（ｄ）において、縦軸は画素値を示し、横軸は画素の位置、つまり画素アドレスを示している。
【００７０】
照明成分抽出部１２０１は、低周波抽出フィルタを用いて低周波画像である照明成分画像Ｄ１２０２を、入力画像Ｄ１２０１から抽出する。これにより、図１２（ｂ）に示すように入力画像Ｄ１２０１から高周波成分が除去された照明成分画像Ｄ１２０２が抽出される。
【００７１】
圧縮部１２０２は、制御データＤＢとして入力される圧縮特性により照明成分画像Ｄ１２０２を圧縮し、圧縮画像Ｄ１２０４を生成する。これにより、図１２（ｂ）に示すように、照明成分画像Ｄ１２０２のダイナミックレンジが圧縮された圧縮画像Ｄ１２０４が得られる。
【００７２】
反射率成分抽出部１２０３は、照明成分画像Ｄ１２０２及び入力画像Ｄ１２０１に基づき、反射率成分画像Ｄ１２０３を抽出する。
【００７３】
ここで、入力画像Ｄ１２０１が対数特性の場合、反射率成分画像Ｄ１２０３は下記の式により算出される。
【００７４】
反射率成分画像Ｄ１２０３＝入力画像Ｄ１２０１−照明成分画像Ｄ１２０２
【００７５】
一方、入力画像Ｄ１２０１が線形特性の場合、反射率成分画像Ｄ１２０３は下記の式により算出される。
【００７６】
反射率成分画像Ｄ１２０３＝入力画像Ｄ１２０１／照明成分画像Ｄ１２０２
【００７７】
これにより、図１２（ｃ）に示すように、入力画像Ｄ１２０１に含まれている高周波成分である反射率成分画像Ｄ１２０３が抽出される。
【００７８】
合成部１２０４は、圧縮画像Ｄ１２０４と反射率成分画像Ｄ１２０３とを合成し、出力画像Ｄ１２０５を生成する。これにより、ＤＲ圧縮処理がされた画像データがＤＲ圧縮部６０４から出力される。
【００７９】
入力画像Ｄ１２０１が線形特性の場合、出力画像Ｄ１２０５は下記の式で算出される。
【００８０】
出力画像Ｄ１２０５×圧縮画像Ｄ１２０４＝反射率成分画像Ｄ１２０３
【００８１】
入力画像Ｄ１２０１が対数特性の場合、出力画像Ｄ１２０５は下記の式で算出される。
【００８２】
出力画像Ｄ１２０５＋圧縮画像Ｄ１２０４＝反射率成分画像Ｄ１２０３
【００８３】
これにより、図１２（ｄ）に示すように、圧縮画像Ｄ１２０４に反射率成分画像Ｄ１２０３が重畳されたような出力画像Ｄ１２０５が生成される。
【００８４】
図１３は、露光時間と光電変換特性との関係を示すグラフであり、縦軸は画素値を示し、横軸は光量を対数で示している。
【００８５】
図１４は、露光時間と輝度分布との関係の説明図であり、（ａ）は図１３に示す光電変換特性１３０１の輝度分布であり、（ｂ）は図１３に示す光電変換特性１３０２の輝度分布である。
【００８６】
露光時間が長い場合の光電変換特性１３０１における輝度分布は図１４（ａ）に示すように、変曲点画素値Ａに対して低輝度側の画素、すなわち、線形特性の画素の画像データ全体に占める割合が光電変換特性１３０２の場合に比べて減少している。
【００８７】
一方、露光時間が短い場合の光電変換特性１３０２における輝度分布は図１４（ｂ）に示すように、変曲点画素値Ａに対して低輝度側の画素、すなわち、線形特性の画素の画像データ全体に占める割合が光電変換特性１３０１の場合に比べて増大している。
【００８８】
よって、露光時間を減少させると、変曲点画素値Ａ以下の画素の画像データ全体に占める割合を増大させることができる。一方、露光時間を増大させると、変曲点画素値Ａ以下の画素の画像データ全体に占める割合を減少させることができる。
【００８９】
したがって、露光時間を制御することで、線形特性の画素の画像データ全体に占める割合を一定の割合にすることができ、高感度の画像データを得ることができる。
【００９０】
図１５は、本発明の実施の形態１による撮像装置が露光時間を制御する際の処理を示すフローチャートである。まず、制御部１０２は、輝度分布検出部６０２から評価データとして出力された画像データの輝度分布を取得し、この輝度分布において変曲点画素値Ａ以下の画素の累積度数をカウントする（Ｓ１５０１）。
【００９１】
次に、制御部１０２は、累積度数が、下限値Ｔｈ１、上限値Ｔｈ２の所定の度数許容範囲の値を持つか否かを判定する（Ｓ１５０２）。ここで、度数許容範囲としては、画像データの感度を高感度にする範囲を採用することができ、例えば、下限値Ｔｈ１としては、画像データ全体の画素数の８５％の画素数を採用し、上限値Ｔｈ２としては、画像データ全体の画素数の９５％の画素数を採用することができる。但し、下限値Ｔｈ１、上限値Ｔｈ２としてはこの値に限定されず、別の値を適宜採用してもよい。
【００９２】
次に、制御部１０２は、累積度数が度数許容範囲内である場合（Ｓ１５０２でＹＥＳ）、つまり、累積度数が画像データ全体の画素数の８５％より大きく、９５％未満の値を持つ場合、処理対象の画像データは感度が許容範囲内であるため、露光時間を調整することなく処理を終了する。
【００９３】
累積度数が下限値Ｔｈ１以下の場合（Ｓ１５０２でＮＯ且つＳ１５０３でＹＥＳ）、つまり、累積度数が画像データ全体の画素数の８５％以下の場合、制御部１０２は露光時間を短くする（Ｓ１５０６）。これにより、図１４（ｂ）に示すように変曲点画素値Ａ以下の画素の画像データ全体に占める割合が増大し、線形特性の画素の占める割合が増大する。
【００９４】
一方、累積度数が上限値Ｔｈ２以上の場合（Ｓ１５０２でＮＯ且つＳ１５０３でＮＯ）、制御部１０２は露光時間を長くする（Ｓ１５０５）。これにより、図１４（ａ）に示すように変曲点画素値Ａ以下の画素の画像データ全体に占める割合が減少し、線形特性の画素の占める割合が減少する。
【００９５】
ここで、撮像部１０１が動画像を撮像する場合、制御部１０２は、１フレームの画像データを撮像する都度、露光時間を所定の分解能で少しずつ増減させてゆき、１又は数フレーム後に変曲点画素値Ａ以下の累積度数を度数許容範囲にすればよい。一方、撮像部１０１が静止画を撮像する場合、制御部１０２は、プレ露光で得られた輝度分布から変曲点画素値Ａ以下の累積度数を求め、累積度数と度数許容範囲との差に応じて予め定められた増減値で現在の露光時間を増減させ、本露光の撮像を行えばよい。
【００９６】
次に、制御部１０２は、露光時間を調整することで変化した変曲点画素値Ａを調整前の変曲点画素値Ａに戻すために変曲点画素値Ａを調整する（Ｓ１５０７）。この場合、制御部１０２は、変曲点画素値Ａを一定にするために、露光時間に応じて予め定められた転送信号φＴＸの電圧レベルを設定し、転送トランジスタＱ１のゲートに供給する。これにより、露光時間の調整の前後において、変曲点画素値Ａが変化することを防止することができ、対数領域を一定に保つことができる。
【００９７】
なお、図１５では、変曲点画素値Ａを調整したが、調整しなくてもよい。図１６は、変曲点画素値を調整しない場合の光電変換特性を示したグラフであり、縦軸、横軸は図１３と同じである。
【００９８】
露光時間が短く調整され、光電変換特性１６０１が光電変換特性１６０２にシフトしたとする。変曲点画素値Ａを調整しない態様を採用した場合、露光時間に応じて変曲点画素値が変動することになる。この場合、制御部１０２は、変動後の変曲点画素値ＡＡを画像処理部１０３に通知し、画像処理部１０３に変曲点画素値ＡＡを認識させ、種々の画像処理を実行させればよい。
【００９９】
＜撮像シーンに応じた撮像制御＞
なお、制御部１０２は、輝度分布から夜間や昼間といった撮像シーンを判別し、撮像シーンに応じて撮像部１０１の制御を変更してもよい。
【０１００】
図２０は、夜間と昼間との光量分布の違いを説明する図であり、（ａ）は夜間における光量分布を示し、（ｂ）は昼間における光量分布を示している。図２１は、画像データの光電変換特性を示したグラフであり、縦軸及び横軸は図１３と同じである。
【０１０１】
屋外の撮影において、夜間では暗部側と光源付近の明部側との２箇所で度数が集中する傾向がある。一方、昼間のシーンでは中間域での度数が比較的多く、暗部から明部にかけて度数の変化が少ない傾向がある。
【０１０２】
このことから、昼間のシーンと夜間のシーンとにおいて同じ制御、つまり、光量が０からの累積度数が同じところに変曲点の光量ａを設定して撮像した場合、以下の不具合が起こる可能性がある。
【０１０３】
すなわち、夜間と昼間とにおいて、変曲点の光量ａから最高光量ｄ１、ｄ２までの光量範囲Δｄが大きく異なるケースが発生する。すなわち、夜間では、暗部側に度数が集中するため、変曲点の光量ａが昼間に比べて低いところに設定される。その結果、夜間では、変曲点の光量ａから最高光量ｄ１までの光量範囲Δｄが昼間に比べて増大する。
【０１０４】
一方、昼間では、中間域での度数が比較的多いため、変曲点の光量ａが夜間に比べて高いところに設定される。その結果、昼間では変曲点の光量ａから最高光量ｄ２までの光量範囲Δｄが夜間に比べて減少する。したがって、昼間の光量分布を基準に度数許容範囲を設定すると夜間において、最高光量ｄ１が撮像部１０１の飽和光量ｍを超える可能性がある。
【０１０５】
以上の不具合を避けるため、本実施の形態では以下２つの方策を採用する。
【０１０６】
第１の方策：昼間と夜間とにおいて度数許容範囲を変更して露光時間を設定する。
【０１０７】
第１の方策を採用した場合、制御が複雑になるが、高ＳＮ比の画像を撮影すると同時に、画像が飽和せず、白飛びの発生を防止することができる。
【０１０８】
第２の方策：夜間の光量分布を基準に最高光量ｄ１が飽和光量ｍ以下となるように度数許容範囲を定め、定めた度数許容範囲を用いて夜間と昼間とで度数許容範囲を変更せずに露光時間を制御する。第２の方策では、夜間の光量分布を基準に度数許容範囲が設定されるため、昼間では、撮像シーンよりも広いダイナミックレンジで被写体が撮像される。その結果、昼間、夜間の双方での画像の飽和を防止することができる。
【０１０９】
第２の方策を採用した場合、制御は簡単ではあるが、常に飽和をせずに比較的高ＳＮな画像を撮影することができる。
【０１１０】
第１の方策を採用した場合、例えば予め撮像部１０１に代表的な昼間、夜間の撮像シーンをそれぞれ撮像させて、昼間、夜間の光量分布を測定する。そして、昼間、夜間のそれぞれの光量分布において、最高光量ｄ２、ｄ１が飽和光量ｍ以下であって最高光量ｄ２、ｄ１にできるだけ近い値をとるように、光量ａを設定し、光量ａ以下の累積度数に基づいて度数許容範囲の下限値及び上限値を設定すればよい。また、第２の方策を採用した場合、第１の方策において夜間の撮像シーンで設定された度数許容範囲を採用すればよい。
【０１１１】
＜撮像シーンの判別処理＞
図２２は、撮像シーンの判別処理の説明図であり、（ａ）はある撮像シーンにおける画像データの輝度分布であり、（ｂ）は別の撮像シーンにおける画像データの輝度分布である。図２３は、撮像シーンの判別処理のフローチャートである。
【０１１２】
まず、制御部１０２は、輝度分布検出部６０２により検出された輝度分布（評価データ）を取得し、取得した輝度分布からピークを検出する（Ｓ２３０１）。ここで、ピークの検出方法としては、輝度分布を微分し、上に凸であり微分値が０となる箇所をピークとして検出する手法を採用すればよい。図２２（ａ）では、暗部側の画素値がＰ１のピークＰＫ１と、明部側の画素値がＰ２のピークＰＫ２とが検出されている。一方、図２２（ｂ）では、暗部側の画素値がＰ１のピークＰＫ１と、明部側の画素値がＰ３のピークＰＫ３と、中間域の画素値がＰ２のピークＰＫ２とが検出される。
【０１１３】
次に、制御部１０２は、ピークを２つ以上検出した場合（Ｓ２３０２でＹＥＳ）、ピーク同士の画素値の間隔であるピーク間隔を検出する。この場合、制御部１０２の複数のピークの全ての組の各々についてピーク間隔を検出する。図２２（ａ）では２つのピークが検出されているため、ピークＰＫ１とピークＰＫ２とのピーク間隔が検出される。一方、図２２（ｂ）では、３つのピークが検出されているため、ピークＰＫ１〜ＰＫ３の全組み合わせのピーク間隔である、ピーク間隔Ｓ１２、Ｓ２３、Ｓ１３の３つのピーク間隔が検出される。
【０１１４】
次に、ピーク間隔が所定の閾値Ｔｈｓ以上の場合（Ｓ２３０４でＹＥＳ）、制御部１０２は撮像シーンを夜間と判定し（Ｓ２３０５）、ピーク間隔が閾値Ｔｈｓ未満の場合（Ｓ２３０４でＮＯ）、制御部１０２は撮像シーンを昼間と判定する（Ｓ２３０６）。
【０１１５】
図２２（ａ）の場合、１つのピーク間隔Ｓが検出されているため、ピーク間隔Ｓが閾値Ｔｈｓ以上であれば夜間と判定される。図２２（ｂ）の場合、３つのピーク間隔Ｓ１２、Ｓ１３、Ｓ２３が検出されているため、それぞれのピーク間隔が閾値Ｔｈｓ以上であるか否かが判定され、１つ、２つ、又は全部のピーク間隔が閾値Ｔｈｓ以上であれば夜間と判定される。なお、ピーク間隔を複数検出した場合、制御部１０２は、最大のピーク間隔を抽出し、この最大のピーク間隔が閾値Ｔｈｓ以上であれば夜間と判定して処理の簡略化を図ってもよい。
【０１１６】
一方、２つ以上のピークが検出されない場合（Ｓ２３０２でＮＯ）、制御部１０２は、撮像シーンを昼間と判定する（Ｓ２３０６）。
【０１１７】
このように、夜間においては、暗部側と明部側とにおいて複数のピークが現れる傾向があり、一方、昼間においては、中間域に１つのピークが現れる傾向があるため、ピークの個数やピーク間隔を検出することで、夜間及び昼間を正確に判定することができる。
【０１１８】
＜第１の方策＞
次に、上述した第１の方策について説明する。図２４（ａ）は夜間における輝度分布の一例を示し、図２４（ｂ）は昼間における輝度分布の一例を示している。図２５は、本発明の実施の形態１の撮像装置が第１の方策を採用した場合において、露光時間を制御する際の処理を示すフローチャートである。
【０１１９】
Ｓ２５０１は図１５のＳ１５０１と同じである。Ｓ２５０２において、制御部１０２は、上記の撮像シーンの判別処理を用いて輝度分布から撮像シーンを判別する。そして、制御部１０２は、撮像シーンを夜間と判定した場合、下限値Ｔｈ１、上限値Ｔｈ２として予め定められた夜間の値を設定し（Ｓ２５０３）、Ｓ２５０４以降の処理を行う。ここで、Ｓ２５０４以降の処理は図１５のＳ２５０２以降の処理と同じであるため、説明を省略する。
【０１２０】
一方、制御部１０２は撮像シーンを昼間と判定した場合、下限値Ｔｈ１、上限値Ｔｈ２として予め定められた昼間の値を設定し（Ｓ２５０３）、Ｓ２５０４以降の処理を行う。
【０１２１】
ここで、夜間、昼間のそれぞれの下限値Ｔｈ１及び上限値Ｔｈ２を下記のようにおく。
【０１２２】
夜間：Ｔｈ１＝Ｎ１、Ｔｈ２＝Ｎ２
昼間：Ｔｈ１＝Ｄ１、Ｔｈ２＝Ｄ２
【０１２３】
すると、Ｎ１、Ｎ２、Ｄ１、Ｄ２とは下記の関係を持つ。
【０１２４】
Ｄ１＜Ｎ１、Ｄ２＜Ｎ２
【０１２５】
つまり、夜間の度数許容範囲を昼間の度数許容範囲よりも大きい側に設定する。これにより、図２４（ａ）、（ｂ）に示すように、夜間における変曲点画素値Ａ１は昼間における変曲点画素値Ａ２よりも高くなり、夜間において懸念される高輝度側での飽和の発生を抑制することができる。
【０１２６】
＜感度増幅率の算出＞
次に、感度増幅率の算出処理について説明する。図２６は、対数特性に変換された画像データの光電変換特性を示すグラフであり、縦軸は画素値、横軸は光量を対数で示している。図２７（ａ）は図２６に示す光電変換特性２６０１の輝度分布であり、図２７（ｂ）は図２６に示す光電変換特性２６０２の輝度分布である。
【０１２７】
本実施の形態では、上述したように画像データの輝度分布において、線形特性の画素の画像データ全体に占める割合が一定範囲内に入るように露光時間が制御されている。しかしながら、これのみを優先して行うと、画像データの全体的な明るさが大きく変化する虞がある。そこで、本実施の形態では、画像データの全体的な明るさが一定の明るさになるように画像データの感度を増幅させている。
【０１２８】
図２６に示すように、感度増幅率が増大すると、光電変換特性が２６０２→２６０１と変化する。よって、感度増幅率を増大させることで、図２７（ａ）に示すように変曲点画素値Ａ以下の画素の画素値の平均値Ｂを増大させることができる。
【０１２９】
一方、感度増幅率が減少すると、光電変換特性が２６０１→２６０２と変化する。よって、感度増幅率を減少させることで、図２７（ｂ）に示すように変曲点画素値Ａ以下の画素の画素値の平均値Ｂを増大させることができる。
【０１３０】
図２８は感度制御のフローチャートである。まず、制御部１０２は、輝度分布検出部６０２により検出された輝度分布から変曲点画素値Ａ以下の画素の輝度の平均値を求める（Ｓ２８０１）。次に、制御部１０２は、平均値が目標輝度範囲の下限値Ｔｈ３より大きく、且つ目標輝度範囲の上限値Ｔｈ４未満であるかを判定する（Ｓ２８０２）。そして、平均値が下限値Ｔｈ３以下の場合（Ｓ２８０２でＮＯ且つＳ２８０３でＹＥＳ）、制御部１０２は、感度増幅率を増大させる（Ｓ２８０５）。一方、平均値が上限値Ｔｈ４以上である場合（Ｓ２８０２でＮＯ且つＳ２８０３でＮＯ）、感度増幅率を減少させる（Ｓ２８０４）。なお、制御部１０２は、Ｓ２８０４、Ｓ２８０５で算出した感度増幅率を制御データＤＡとして感度増幅部６０３に供給し、感度増幅部６０３は、その制御データＤＡである感度増幅率で画像データの感度を増幅させる。
【０１３１】
ここで、撮像部１０１が動画像を撮像する場合、制御部１０２は、１フレームの画像データを撮像する都度、感度増幅率を所定の分解能で少しずつ増減させてゆき、１又は数フレーム後に平均値を目標輝度範囲にすればよい。一方、撮像部１０１が静止画を撮像する場合、制御部１０２は、プレ露光で得られた平均値と目標輝度範囲との差に応じて予め定められた増減値で現在の感度増幅率を増減させ、本露光の画像データの感度を増幅させればよい。
【０１３２】
＜ＤＲ圧縮処理＞
次に、ＤＲ圧縮処理の詳細について説明する。図２９は、圧縮特性を示すグラフであり、縦軸は圧縮部１２０２に入力される照明成分画像Ｄ１２０２の画像データを示し、横軸は圧縮部１２０２から出力される圧縮画像Ｄ１２０４の画像データを示している。
【０１３３】
図３０は、輝度分布検出部６０２により検出された輝度分布を示している。まず、制御部１０２は、輝度分布検出部６０２により検出された輝度分布から、平均値Ｂ、及び最大画素値Ｃを検出する。ここで、平均値Ｂは変曲点画素値Ａ以下の画素の輝度の平均値であり、最大画素値Ｃは画像データの最大の画素値である。また、変曲点画素値Ａは既知である。
【０１３４】
次に、制御部１０２は、検出した変曲点画素値Ａ、平均値Ｂ、最大画素値Ｃを、それぞれ、感度増幅率ｇで増幅させたときの値が、予め定められた目標となる変曲点画素値Ａ´、平均値Ｂ´、及び最大画素値Ｃ´となるように圧縮特性ｆを求める。ここで、制御部１０２は、例えば、図２９に示すグラフ上に、変曲点画素値Ａ、平均値Ｂ、最大画素値Ｃを感度増幅率ｇで増幅させた値と、変曲点画素値Ａ´、平均値Ｂ´、及び最大画素値Ｃ´との交点ＣＲ１〜ＣＲ３をプロットし、交点ＣＲ１〜ＣＲ３を直線で繋ぐ等の線形補間することで、圧縮特性ｆを求めればよい。
【０１３５】
そして、制御部１０２は算出した圧縮特性ｆを制御データＤＢとしてＤＲ圧縮部６０４に供給する。なお、感度増幅率ｇは、制御部１０２により制御データＤＡとして算出された感度増幅率である。ここで、感度増幅率ｇで感度増幅させた値を採用するのは、ＤＲ圧縮部６０４に入力される画像データは感度増幅処理後の画像データであるからである。
【０１３６】
特性変換部６０１が対数特性に変換する場合、圧縮特性ｆは下記の条件を満たす。
【０１３７】
Ａ´＝ｆ（Ａ＋ｇ）
Ｂ´＝ｆ（Ｂ＋ｇ）
Ｃ´＝ｆ（Ｃ＋ｇ）
【０１３８】
特性変換部６０１が線形特性に変換する場合、圧縮特性ｆは下記の条件を満たす。
【０１３９】
Ａ´＝ｆ（Ａ×ｇ）
Ｂ´＝ｆ（Ｂ×ｇ）
Ｃ´＝ｆ（Ｃ×ｇ）
【０１４０】
このように、平均値Ｂ、最大画素値Ｃを制御点として圧縮特性ｆを求めることで、画像データの平均値と最大画素値とを常に同じレベルにすることができる。また、変曲点画素値Ａを更に制御点として加えて圧縮特性ｆを求めることにより、高ＳＮ比である線形領域と、高ダイナミックレンジである対数領域とを異なる最適な特性で出力することが可能となる。なお、上記説明では、制御点として変曲点画素値Ａを考慮して、圧縮特性ｆを求めたが、変曲点画素値Ａを考慮せずに圧縮特性ｆを求めてもよい。
【０１４１】
以上説明したように、本実施の形態による撮像装置によれば、撮影シーンの輝度分布に応じて、露光時間及び変曲点画素値が制御されるため、撮像シーンに関わらず、安定した高ＳＮ比の画像データを得ることが可能となる。
【０１４２】
また、変曲点画素値以下の画素の輝度の平均値が目標輝度範囲になるように感度増幅率が算出されて画像データの感度が増幅されるため、撮像シーンによらず安定した出力レベルの画像データを得ることができる。
【０１４３】
更に、輝度分布の所定の制御点と感度増幅率とに基づいて圧縮特性が算出されているため、高ＳＮ比であると同時に、出力レベルが安定した、飽和の少ない画像データを得ることができる。
【０１４４】
（実施の形態２）
次に、本発明の実施の形態２による撮像装置について説明する。本実施の形態では画素構成は実施の形態１と同じであり、１フレーム期間中に異なる露光時間で被写体を複数回撮像し、それぞれの露光時間における画像データを出力することで、感度の異なる複数の光電変換特性で被写体を撮像する。なお、本実施の形態において実施の形態１と同じものは同一の符号を付して説明を省く。
【０１４５】
図３は、本発明の実施の形態２における画素３１ａが持つ光電変換特性を示したグラフであり、縦軸は画素値を線形で示し、横軸は光量を線形で示している。
【０１４６】
図３の例では、１フレーム期間中に３つの露光時間が設定され３種類の画像データが撮像されている。なお、これら３つの画像データの光電変換特性はいずれも線形特性である。これら３つの画像データの光電変換特性は、３０１→３０２→３０３の順で傾きが緩やかになり感度が減少している。これは、３０１→３０２→３０３の順で露光時間が短く設定されているからである。
【０１４７】
図１７（ａ）は、１フレーム期間中に第１、第２露光時間を設定し、第１、第２画像データを取得した場合のそれぞれの画像データの光電変換特性を示している。図１７（ｂ）は図１７（ａ）の第１、第２画像データを合成した合成画像データの光電変換特性を示している。なお、図１７（ａ）、（ｂ）において、縦軸、横軸は図３と同じである。
【０１４８】
多重露光では、撮像部１０１において異なる２つ以上の露光時間にて撮像を行い、撮像された画像データを合成することにより高ダイナミックレンジの画像データを撮像する。
【０１４９】
図１７の例では第１、第２露光時間で２回の撮像が行われ、第１露光時間よりも第２露光時間のほうが露光時間が短く設定されている。
【０１５０】
第１、第２画像データの合成処理は、例えば、所定の変曲点画素値Ａ１７以下の領域では第１画像データをそのまま合成画像データとして採用し、変曲点画素値Ａ１７より大きい領域では第２画像データにオフセットレベルＳＳを加えた画像データを合成画像データとして採用することで行われる。ここで、オフセットレベルＳＳは、光量ａ１７における第１画像データと光量ａ１７における第２画像データとの差分を採用することができる。
【０１５１】
図３３は、本発明の実施の形態２による画像処理部１０３のブロック図である。本実施の形態では画像処理部１０３は特性変換部６０１に代えて合成部３３０１が設けられている。合成部３３０１は、上記の合成処理を行う。合成処理以降の処理は実施の形態１と同じであり、変曲点画素値Ａ１７が実施の形態１の変曲点画素値Ａに相当する。すなわち、輝度分布検出部６０２は、合成画像データにおける輝度分布を検出し、評価データとして制御部１０２に供給する。制御部１０２は、変曲点画素値Ａ１７以下の画素の累積度数を検出し、累積度数が所定の度数許容範囲に入るように露光時間を制御する。
【０１５２】
図１９は、本発明の実施の形態２による撮像装置が露光時間を制御する際の処理を示すフローチャートである。Ｓ１９０１〜Ｓ１９０３は図１５のＳ１５０１〜Ｓ１５０３と同じである。
【０１５３】
変曲点画素値Ａ１７以下の画素の累積度数が下限値Ｔｈ１以下の場合（Ｓ１９０３でＹＥＳ）、制御部１０２は、第１露光時間を短くする（Ｓ１９０５）。これにより、第１画像データの感度が減少し、変曲点画素値Ａ１７以下の画素の累積度数が増大する。
【０１５４】
一方、変曲点画素値Ａ１７以下の画素の累積度数が上限値Ｔｈ２以上の場合（Ｓ１９０３でＮＯ）、制御部１０２は第１露光時間を長くする（Ｓ１９０４）。これにより、第１画像データの感度が増大し、変曲点画素値Ａ１７以下の画素の累積度数が減少する。
【０１５５】
次に、制御部１０２は、第１露光時間の制御に連動させて、第２露光時間を制御する（Ｓ１９０６）。この場合、制御部１０２は、例えば、第１露光時間を１．５倍に設定した場合、第２露光時間も１．５倍に設定すればよい。
【０１５６】
図１８は、第１、第２画像データの露光時間が制御される様子を説明するグラフであり、縦軸、横軸は図１７と同じである。例えば、第１露光時間がα倍に長くされ第１画像データの光電変換特性が１８０１→１８０１´に変化したとする。すると、第２露光時間もα倍にされて第２画像データの光電変換特性は、１８０２→１８０２´に変化する。
【０１５７】
一方、第１露光時間が１／α倍に短くされ、第１画像データの光電変換特性が１８０１´→１８０１に変化したとする。すると、第２露光時間も１／α倍に短くされ、第２画像データの光電変換特性は、１８０２´→１８０２に変化する。これにより、ダイナミックレンジを維持すると同時に、高ＳＮ比な画像データを得ることができる。
【０１５８】
このように、実施の形態２の撮像装置によれば、多重露光方式を採用した場合においても、実施の形態１と同様の効果を得ることができる。
【０１５９】
なお、上記説明では、多重露光として２つの画像データを撮像する場合を例に挙げて説明したが、本発明はこれに限定されず、３つ以上の画像データを撮像してもよい。この場合、露光時間が最大の画像データを第１画像データとし、それ以外の複数の画像データを第２画像データとして、これらの画像データを１枚の画像データに合成すればよい。
【０１６０】
（変形例１）
図３１は、実施の形態１、２における画像処理部１０３の変形例を示すブロック図である。実施の形態１、２では、輝度分布検出部６０２は、特性変換部６０１（合成部３３０１）と感度増幅部６０３との間に設けられていたが、図３１（ａ）に示すように、感度増幅部６０３とＤＲ圧縮部６０４との間に設けてもよい。この場合、感度増幅部６０３は前フレームの画像データの輝度分布から算出された感度増幅率（制御データＤＡ）を用いて現フレームの画像データの感度を増幅する。そして、輝度分布検出部６０２は、感度増幅部６０３により感度が増幅された画像データから輝度分布を検出することになる。
【０１６１】
また、図３１（ｂ）に示すように、特性変換部６０１（合成部３３０１）と感度増幅部６０３との間に輝度分布検出部６０２１を設け、且つ、感度増幅部６０３とＤＲ圧縮部６０４との間にも輝度分布検出部６０２２を設けてもよい。この場合、制御部１０２は、輝度分布検出部６０２１により検出された輝度分布を用いて、露光時間及び感度増幅率（制御データＤＡ）を算出し、感度増幅部６０３に現フレームの画像データの感度を、算出した感度増幅率で増幅させればよい。
【０１６２】
また、制御部１０２は、輝度分布検出部６０２２により検出された輝度分布を用いて圧縮特性ｆ（制御データＤＢ）を求め、ＤＲ圧縮部６０４に現フレームの画像データに対して圧縮処理を行わせればよい。この場合、制御部１０２は、図２９で説明したように、感度増幅率ｇを用いずに、輝度分布検出部６０２２から供給された輝度分布から平均値Ｂ、及び最大画素値Ｃを検出し、検出した平均値Ｂ及び最大画素値Ｃ並びに変曲点画素値Ａと、目標とする平均値Ｂ´、及び最大画素値Ｃ´とを図２９に示すグラフにプロットして線形補間することで圧縮特性ｆを算出すればよい。
【０１６３】
（変形例２）
実施の形態１，２では、入出力特性変換部の一例としてＤＲ圧縮部６０４を画像処理部１０３に設けた。変形例２では、入出力特性部としてＤＲ圧縮部６０４に代えてガンマ補正部を採用したことを特徴とする。
【０１６４】
図３２は、ガンマ補正部がガンマ補正に使用する階調特性ｈを示したグラフであり、詳細は図２９と同じである。
【０１６５】
ガンマ補正部は、表示器の表示特性に適合するように入力された画像データの入出力特性を調整するものであるが、基本的な考え方はＤＲ圧縮部６０４と同じである。すなわち、ガンマ補正部は、制御部１０２から階調特性ｈが制御データＤＢとして供給され、階調特性ｈにしたがって、入力された画像データの入出力特性を変換する。
【０１６６】
ここで、制御部１０２は、ＤＲ圧縮部６０４と同様、輝度分布において、変曲点画素値Ａと、変曲点画素値Ａ以下の画素値の平均値Ｂと、最大画素値Ｃとを目標とする変曲点画素値Ａ´、平均値Ｂ´、最大画素値Ｃ´となるように、階調特性を求める。ここで、制御部１０２は、階調特性ｈを求める場合、目標とする変曲点画素値Ａ´、平均値Ｂ´、最大画素値Ｃ´が階調特性ｈを求めるうえで適した値となるものを採用すればよい。
【符号の説明】
【０１６７】
１０１  撮像部
１０２  制御部
１０３  画像処理部
６０１  特性変換部
６０２  輝度分布検出部
６０３  感度増幅部
６０４  ＤＲ圧縮部
９０１  ヒストグラム検出部
１００１  加減算部
１２０１  照明成分抽出部
１２０２  圧縮部
１２０３  反射率成分抽出部
１２０４  合成部 
【図１】
2014007437.tif 000003
【図２】
2014007437.tif 000004
【図３】
2014007437.tif 000005
【図４】
2014007437.tif 000006
【図５】
2014007437.tif 000007
【図６】
2014007437.tif 000008
【図７】
2014007437.tif 000009
【図８】
2014007437.tif 000010
【図９】
2014007437.tif 000011
【図１０】
2014007437.tif 000012
【図１１】
2014007437.tif 000013
【図１２】
2014007437.tif 000014
【図１３】
2014007437.tif 000015
【図１４】
2014007437.tif 000016
【図１５】
2014007437.tif 000017
【図１６】
2014007437.tif 000018
【図１７】
2014007437.tif 000019
【図１８】
2014007437.tif 000020
【図１９】
2014007437.tif 000021
【図２０】
2014007437.tif 000022
【図２１】
2014007437.tif 000023
【図２２】
2014007437.tif 000024
【図２３】
2014007437.tif 000025
【図２４】
2014007437.tif 000026
【図２５】
2014007437.tif 000027
【図２６】
2014007437.tif 000028
【図２７】
2014007437.tif 000029
【図２８】
2014007437.tif 000030
【図２９】
2014007437.tif 000031
【図３０】
2014007437.tif 000032
【図３１】
2014007437.tif 000033
【図３２】
2014007437.tif 000034
【図３３】
2014007437.tif 000035