(57)【要約】【課題】ワイドダイナミックレンジで且つ適正な自動露光制御が行える画像信号処理装置を提供する。【解決手段】被写体からの光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、該撮像素子からの画像信号に所定の処理を行い入力する入力手段と、該入力手段からの画像信号に対して所定の処理を行うカメラ信号処理手段と、該カメラ信号処理手段からの画像信号に所定の処理を行い出力する出力手段と、前記入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、該信号レベル検出手段の検出結果と前記撮像素子の入出力特性に応じて入力手段からの信号に対して重み付けを変更する重み変更手段と、該重み変更手段からの入力信号を所定の期間にわたり積算する積算手段と、該積算手段の信号を基に露光制御を行う露光制御手段と、を持つ構成とした。【選択図】  図１
2012147060.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、
該撮像素子からの画像信号に所定の処理を行い入力する入力手段と、
該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、
該信号レベル検出手段の検出結果と前記撮像素子の入出力特性に応じて入力手段からの信号に対して重み付けを変更する重み変更手段と、
該重み変更手段の出力信号を所定の期間に渡り積算する積算手段と、
該積算手段からの信号を基に露光制御を行う露光制御手段と、
を持つ画像信号処理装置。
【請求項２】
被写体からの入射光を光電変換し画像信号として出力する際、少なくとも二つ以上の感度特性の異なる画像信号を出力する撮像素子と、
該撮像素子からの少なくとも二つ以上の各画像信号に対して所定の処理を行い入力する入力手段と、
該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、
該信号レベル検出手段の検出結果と前記撮像素子の入出力特性に応じて入力手段からの信号に対して重み付けを変更する重み変更手段と、
を前記入力手段からの少なくとも二つ以上の各画像信号に対して個別に有し、
該重み変更手段からの少なくとも二つ以上の信号を所定の比率で加算する加算手段と、
該加算手段からの信号を所定の期間に渡り積算する積算手段と、
該積算手段からの信号を基に露光制御を行う露光制御手段と、
を持つ画像信号処理装置。
【請求項３】
被写体からの入射光を光電変換し画像信号として出力する際、感度特性の異なる第１の画像信号と第２の画像信号を出力する撮像素子と、
該撮像素子からの第１及び第２の画像信号に対して所定の処理を行い入力する入力手段と、
該入力手段からの第１の画像信号の信号レベルを検出する信号レベル検出手段と、
該信号レベル検出手段の検出結果と前記撮像素子の入出力特性に応じて入力手段からの第１の画像信号に対して重み付けを変更する重み変更手段と、
該重み変更手段からの信号と前記入力手段の信号を所定の比率で加算する加算手段と、
該加算手段からの信号を所定の期間に渡り積算する積算手段と、
該積算手段からの信号を基に露光制御を行う露光制御手段と、
を持つ画像信号処理装置。
【請求項４】
請求項１〜３のいずれかの画像処理装置において、
前記信号レベル検出手段は、前記撮像素子において光電変換した際の入射光の光量を推定するための信号を検出するものであって、前記入力手段から入力した画素信号を中心としその周辺画素を含めた所定の画素領域におけるヒストグラム分布、最大値最小値、平均値のいずれかを検出すること、
を特徴とする画像信号処理装置。
【請求項５】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記撮像素子の入出力特性の情報として前記撮像素子の入力レベルと出力レベルを対応付けた情報をテーブルとして保持し、該テーブル情報と前記信号レベル検出手段で検出した情報を基に、高輝度信号領域の伸張処理を行うこと、
を特徴とする画像信号処理装置。
【請求項６】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記撮像素子の入出力特性の情報として前記撮像素子の入力レベルと出力レベルを対応付けた情報をテーブルとして保持し、該テーブル情報と前記信号レベル検出手段で検出した情報を基に、高輝度信号の圧縮率と同等となるよう低輝度信号の圧縮処理を行うこと、
を特徴とする画像信号処理装置。
【請求項７】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記撮像素子の入出力特性の情報として前記撮像素子の入出力特性を表す関数式として保持し、該関数式と前記信号レベル検出手段で検出した情報を基に圧縮された高輝度信号に対して伸張処理を行うこと、
を特徴とする画像信号処理装置。
【請求項８】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記撮像素子の入出力特性の情報として前記撮像素子の入出力特性を表す関数式として保持し、該関数式と前記信号レベル検出手段で検出した情報を基に、高輝度信号の圧縮率と同等となるよう低輝度信号の圧縮処理を行うこと、
を特徴とする画像信号処理装置。
【請求項９】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記撮像素子の入出力特性の情報として複数の入射光の輝度レベルにおける圧縮率情報を保持しておき、該圧縮率情報から入出力特性を推定し、該推定した入出力特性と前記信号レベル検出手段で検出した情報を基に、圧縮された高輝度信号に対して伸張処理を行うこと、
を特徴とする画像信号処理装置。
【請求項１０】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記撮像素子の入出力特性の情報として複数の入射光の輝度レベルにおける圧縮率情報を保持しておき、該圧縮率情報から入出力特性を推定し、該推定した入出力特性と前記信号レベル検出手段で検出した情報を基に、高輝度信号の圧縮率と同等となるよう低輝度信号の圧縮処理を行うこと、
を特徴とする画像信号処理装置。
【請求項１１】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記信号レベル検出手段からの出力が所定の範囲であった場合に、前記撮像素子からの出力信号を所定のレベルに変換すること、
を特徴とする画像信号処理装置。
【請求項１２】
請求項１〜３のいずれかの画像処理装置において、
前記重み変更手段は、前記信号レベル検出手段からの出力が所定の範囲であった場合に、前記撮像素子からの出力信号の重みを下げるようゲイン補正を行うこと、
を特徴とする画像信号処理装置。
【請求項１３】
請求項１〜３のいずれかの画像処理装置において、
前記撮像素子はその入出力特性に於いて少なくとも二つの感度特性の異なる領域Aと領域Bを有し、
前記露光制御手段は、前記積算手段からの出力信号を基に、画像全体もしくは画像内の一部の領域の信号の平均値が領域Aの範囲に収まるよう露光制御すること、
を特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置に関する。例えば、ワイドダイナミックレンジと高精度な自動露光制御を両立するための画像信号処理を行う、画像信号処理装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００２−７７７３３号公報がある。該公報には「［課題］本発明は、バイアス電圧を切り換えることなく、光電変換部に入射される入射光量に応じて、自動的に対数変換動作及び線形変換動作を切り換えることができる固体撮像装置を提供することを目的とする。［解決手段］信号φＶPSに、撮像時にＭＯＳトランジスタＴ１のソースに与える電圧ＶＨより低い電圧ＶＬとなるパルス信号を与えることによって、撮像開始時におけるＭＯＳトランジスタＴ１のゲート電圧をソース電圧より低い電圧とする。よって、撮像時において、被写体が所定の輝度値を超えるまでは、ＭＯＳトランジスタＴ１がカットオフ状態となるので、線形変換された電気信号が出力され、又、被写体が所定の輝度値を超えたとき、ＭＯＳトランジスタＴ１がサブスレッショルド領域で動作するので、対数変換された電気信号が出力される。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−７７７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体の光を入力とし光電変換した後に画像信号として出力する撮像素子を、画素飽和を極力抑えるよう非線形入出力特性とし、該非線形入出力特性の撮像素子を用いて撮影することでワイドダイナミックレンジの画像を取得する技術がある。
【０００５】
一般に、撮影を行う画像信号処理装置においては、適正な露光制御を自動的に行うための自動露光制御を行うことが知られている。これは、例えば撮影した画像から被写体の明るさを判定し、絞りやシャッタ速度（露光時間）が適正となるよう自動的に制御するものであり、例えば光が弱い被写体を映した場合には絞りを開け、あるいはシャッタ速度を遅くして光量を増し、光が強い被写体を映した場合には絞りを閉め、あるいはシャッタ速度を速くして光量を減ずるという制御を自動的に行うものである。
【０００６】
ところが、上述したワイドダイナミックレンジ画像生成技術（特開２００２−７７７３３号公報）では、非線形入出力特性を持つ撮像素子は対数圧縮変換等により非線形入出力特性を実現しているため、画像信号の強弱が圧縮された画像となる。このため、非線形入出力特性を持つ撮像素子を用いたカメラにて自動露光制御を行う場合、画像から被写体の明るさを正確に判定できず自動露光制御が適正に行えないという課題があった。
【課題を解決するための手段】
【０００７】
上記課題を解決するための手段は、特許請求の範囲に記載のとおりである。
【発明の効果】
【０００８】
本発明による画像処理装置を用いれば、例えば、従来技術における課題を解決でき、ワイドダイナミックレンジで、且つ撮影した被写体に応じて最適な自動露光制御が行われた画像を取得できる。
【図面の簡単な説明】
【０００９】
【図１】実施例１、3および4における基本構成図
【図２】実施例２、3および4における基本構成図
【図３】実施例２における基本構成図
【図４（ａ）】撮像素子の入出力特性の例
【図４（ｂ）】撮像素子の入出力特性の例
【図４（ｃ）】撮像素子の入出力特性の例
【図４（ｄ）】撮像素子の入出力特性の例
【図５】撮像素子の入出力特性の例
【図６】オブジェクトに応じた検出エリアの例
【図７】ヒストグラムの例
【図８】撮像素子の入出力特性の例
【発明を実施するための形態】
【００１０】
以下、本発明に好適な実施形態の例として、画像信号処理装置の実施例を説明する。
【実施例１】
【００１１】
本発明における実施例１について詳細に説明する。図１は、本発明の実施例１における基本構成図である。被写体からの入射光の光量を調整する絞り１と、該絞りを通った入射光を集めるレンズ２と、該レンズが集めた入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子３と、該撮像素子からの画像信号に所定の処理を行い入力する入力手段４と、該入力手段からの画像信号に対して所定の処理を行うカメラ信号処理手段５と、該カメラ信号処理手段からの画像信号に所定の処理を行い出力する出力手段６と、前記入力手段からの画像信号の信号レベルを検出する信号レベル検出手段７と、該信号レベル検出手段の検出結果と前記撮像素子の入出力特性に応じて入力手段からの信号に対して重み付けを変更する重み変更手段８と、該重み変更手段からの入力信号を所定の期間にわたり積算する積算手段９と、該積算手段の信号を基に前記撮像素子におけるシャッタ速度を制御すること、または前記絞りにおける絞り値を絞り値変更手段１１を介して制御すること、または前記入力手段における利得を制御すること、のいずれかもしくはすべてを行う露光制御手段１０と、を持つ構成とした。
【００１２】
撮像素子３は非線形の入出力特性であるとしたが、図４を用いて詳細に説明する。図４(a)ケース１は、２種類のリニア特性を持ち、低輝度(入射光のレベルが低い)部分と比較して、高輝度部分の圧縮率を高くしている。高輝度(入射光のレベルが高い)部分を圧縮することで、画素飽和点をより高輝度側へシフトさせることができ、一般的なリニア特性の撮像素子に比べ、ワイドダイナミックレンジを実現可能である。さらに、後述のケース２〜４に対して、対数変換の演算量を削減できることから、低コスト化や小型化、低消費電力化を実現できる。また図４(b)ケース２は、低輝度部分はリニア特性であり、高輝度部分は対数特性とし、高輝度になればなるほど圧縮率を高くしている。これにより、ケース１に対してさらにワイドダイナミックレンジ化が可能である。さらに、後述する露光制御手段１０における重み変更処理を圧縮率が高い高輝度部分のみに適用する構成とすれば、演算量を削減できることから、低コスト化や小型化、低消費電力化が可能である。また図４(c)ケース３は全輝度領域で対数特性である。これにより、ケース２に対してさらにワイドダイナミックレンジ化が可能である。また図４(d)ケース４は、２種類の対数特性を持ち、低輝度部分と比較して、高輝度部分の圧縮率を高くしている。これにより、ケース３に対してさらにワイドダイナミックレンジ化が可能である。また図４のケース１〜４は、本発明における撮像素子の入出力特性の一例であり、特定の輝度領域、あるいは全輝度領域について所定の関数により圧縮した非線形特性であれば、上記以外でもよい。
【００１３】
入力手段４について詳細を説明する。所定の処理とは、撮像素子からの信号を入力して、後段の信号処理を行うブロック（カメラ信号処理手段５、信号レベル検出手段７）にて画像信号処理を行うための入力インタフェース処理であり、例えばA/D変換処理やLVDS信号をデジタル信号に変換する処理であり、また例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。尚、入力手段４は、レベル調整のための利得制御や、フィルタ処理等、所定の画像信号処理を含む構成であってもよい。
【００１４】
信号レベル検出手段７について詳細を説明する。信号レベル検出手段７にて検出する数値は、例えば入力した画素信号の絶対値である。また例えば、入力した画素信号を中心とし、その周辺画素で構成される所定の画像領域（ｎ×ｍ画素の領域）における信号のヒストグラム分布、最大値最小値、平均値等、画像領域の信号の輝度分布状態を示す情報となる数値である。以上の情報を検出すれば、画素信号を得た際の入射光の光量を推定することができる。入射光の光量推定のためには画素信号の絶対値情報があればよいが、入力した画素信号と相関性が非常に高い周辺画素を用いてそのヒストグラム分布や最大値最小値や平均値を検出すれば、撮像時に重畳するノイズ成分を高精度に分離することができるなど、撮影条件によらず高精度な推定が可能である。
【００１５】
重み変更手段8は信号レベル検出手段７からの信号と前記入力手段4からの信号を入力とし、撮像素子３の非線形な入出力特性を補償するべく、例えば対数変換の逆変換など、信号レベル検出手段の検出結果と前記撮像素子の入出力特性に応じて重み付けを変更した値を出力する。すなわち、撮像素子３において対数変換等の非線形処理によって圧縮された高輝度信号に対して伸張処理を行うことで、通常のリニア特性を持つ撮像素子の特性に近づけることができる。また例えば、高輝度の圧縮率と同等となるよう、低輝度領域を圧縮処理することで、通常のリニア特性を持つ撮像素子の特性に近づけることができ、且つ高輝度信号に対して伸張処理を行う場合に比べて少ないビット数で処理できるため回路コストを削減できる。また例えば、撮像素子３の非線形な入出力特性のうち、圧縮率の高い部分の信号の重み付けを低くすることで、リニア特性もしくはリニア特性に近い低輝度領域の寄与率を上げることができ、通常のリニア特性を持つ撮像素子の特性に近づけることができる。
【００１６】
積算手段9は重み変更手段8からの信号を入力とし、積算を行う。積算手段9における積算処理は、画面全体に対して一様に行う方法でも良く、画像の領域ごとに重み付けを行った後積算する方法でも良い。例えば画面中央部分の重みを大きくして積算する方法や、顔認識等のオブジェクト認識手段を有し、オブジェクト手段にて検出された図６に示すような顔を含む画像領域Aの重みを大きくして積算する方法であっても良く、その場合には画面の特定領域に着目した露光制御を行うことが可能である。露光制御手段10は積算手段9からの信号を基にシャッタ速度や絞り値、ゲイン補正の利得を制御する処理を行う。
【００１７】
以上の構成によれば、撮像素子における光電変換が非線形特性の場合であっても、撮影を行う被写体が最適な露出となるよう自動露光制御を行うことが可能となる。
【００１８】
なお、重み変更手段８において撮像素子の入出力特性を表す情報を保持するとしたが、入力レベルと出力レベルを対応付けた情報をテーブルとして保持する方法でよい。上記によれば、入出力特性の正確な把握が可能である。また、入出力特性を表す関数式を保持する方法でもよい。上記によれば、入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。また、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でもよい。上記によれば、例えばデータを間引いた状態で保持しておき近似補間することで入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。また、関数式を保持する方法は関数が多項式になればなるほど演算量が増えるが、間引いた状態のデータを近似補間で実現すれば相対的に演算量を削減できる。
【００１９】
次に、カメラ信号処理手段５について詳細を説明する。カメラ信号処理手段５は入力手段４からの画像信号を入力とし、ノイズ除去、ガンマ補正、輪郭強調、ホワイトバランス処理、フィルタ処理、ズーム処理、手振れ補正、画像認識等、所定の画像信号処理を行う。
【００２０】
最後に、出力手段６について詳細を説明する。所定の処理とは、TVやストレージ等の出力機器の信号フォーマットに変換する出力インタフェース処理であり、例えばNTSCやPALのビデオ出力に変換するものであり、例えばHDMI信号に変換するものであり、例えばネットワーク伝送のために所定の信号に変換するものである。尚、出力手段６は、レベル調整のための利得制御や、フィルタ処理、エンコードによる圧縮処理等、所定の画像信号処理を含む構成であってもよい。
【００２１】
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適な自動露光制御が行われる画像処理装置を実現できる。
【実施例２】
【００２２】
本発明における実施例２について詳細に説明する。図２は、本発明の実施例２における基本構成図である。被写体からの入射光の光量を調整する絞り１と、該絞りを通った入射光を集めるレンズ２と、該レンズが集めた入射光を光電変換し画像信号として出力する際、少なくとも２つ以上の感度特性の異なる画像信号を出力する撮像素子３と、該撮像素子からの各画像信号に対して所定の処理を行い入力する入力手段４と、該入力手段からの各画像信号に対してカメラ装置として必要な信号処理を行うカメラ信号処理手段５a及び５ｂを個別に有し、該カメラ信号処理手段５aと５bの出力を所定の比率で合成する合成手段12と、該合成手段からの画像信号を所定の処理を行い出力する出力手段６と、を備え、前記入力手段からの第１の画像信号に対して、信号レベルを検出する信号レベル検出手段７aと、該信号レベル検出手段７aの検出結果に応じて前記入力手段からの信号に対して重み付けを変更する重み変更手段８aと、同じく前記入力手段からの第２の画像信号に対して、信号レベルを検出する信号レベル検出手段７ｂと、該信号レベル検出手段７ｂの検出結果に応じて前記入力手段からの信号に対して重み付けを変更する重み変更手段８ｂと、を個別に有し、該重み変更手段８aおよび８ｂからの信号を所定の比率で加算する加算手段１３と、該加算手段からの入力信号を所定の期間にわたり積算する積算手段９と、該積算手段からの信号を基に前記撮像素子におけるシャッタ速度を制御すること、または前記絞りにおける絞り値を絞り値変更手段１１を介して制御すること、または前記入力手段における利得を制御すること、のいずれかもしくはすべてを行う露光制御手段１０と、を持つ構成とした。
【００２３】
撮像素子３は少なくとも２つ以上の感度特性の異なる画像信号を出力するとしたが、図２の構成図は、第１の信号と第２の信号の二つの画像信号を出力する場合の例である。第１の信号、第２の信号は例えば、図４(a)ケース２におけるリニア特性の部分の画像信号と、対数特性の部分の画像信号である。
【００２４】
入力手段４は、前記撮像素子からの第１の信号と第２の信号を入力し、各々に対して前記実施例1に記載のものと同様の処理を行うものである。
【００２５】
信号レベル検出手段７a、および重み変更手段８aは前記入力手段４からの第1の信号に対して、前記実施例１に記載のものと同様の処理を行うものとし、信号レベル検出手段７ｂ、および重み変更手段８ｂは前記入力手段４からの第２の信号に対して、前記実施例１に記載のものと同様の処理を行うものとする。
【００２６】
また、図3の構成図は、図４(a)(b)のような特性変化点を持つ撮像素子の場合の例である。該図４(a)ケース1の場合、リニアA、あるいはリニアBの領域のいずれか一方だけに前記信号レベル検出手段、前記重み変換手段を用いてリニアAとリニアBの特性が同じになるように処理を行うものとする。該図４(b)ケース２の場合、対数の部分にのみ前記信号レベル検出手段、前記重み変換手段を用いるものとする。この構成であれば、図２の構成に比べ、さらに少ない回路規模で実現可能である。
【００２７】
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適な露光制御を行った映像を生成する画像処理装置を実現できる。
【００２８】
また、第1の信号と第２の信号に対して個別に信号レベルを検出することができるため、第1の信号と第２の信号が合成された信号に対して信号レベルを検出する実施例１の構成に比べて、より高精度な検出が可能である。
【００２９】
さらには、第１の信号と第２の信号を個別に演算処理するため、第1の信号と第２の信号が合成された信号に対して演算処理を行う実施例1の構成に比べて、各々少ないビット精度での演算にて同等の演算精度を維持できる。例えば、実施例１の構成における入力手段４の出力ビット精度が３２bit精度であった場合、本実施例２の構成で同等の演算精度とするためには、第１の信号と第２の信号は各々１６bitとし、合成手段9による合成後３２bitとすればよい。通常、bit数が少ないほうがオーバーヘッドが小さいため、回路で実現する場合は回路規模を縮小でき、ソフトウェアで実現する場合は演算時間を短縮できる。
【実施例３】
【００３０】
本発明における実施例３について詳細に説明する。本実施例３では、前記実施例１または２のいずれかの構成であって、前記入出力特性が非線形である撮像素子３において、所定の入射光(輝度)レベルで特性が変化する特性変化点を持つ撮像素子とした。例えば、図４(a)(b)(d)のような特性変化点を持つ撮像素子である。
【００３１】
該特性変化点を持つ撮像素子は、例えば光電変換した電荷を特性変化点前の電荷と特性変化点後の電荷分に分けてキャパシタに格納しておき、合成して出力あるいは個別に出力することで実現できる。しかしながら、キャパシタに格納する際の電荷損失等により、合成後の特性変化点付近で出力レベルが下がってしまうという問題があり、例えば図５のような特性となる。上記特性変化点でレベルが下がると、画像ではノイズとして現れる。
【００３２】
そこで、本発明における実施例３では、前記重み変更手段は撮像素子の入出力特性の情報として特性変化点の情報を保持し、該特性変化点の情報と前記信号レベル検出手段からの情報を基に、特性変化点付近のノイズ成分が露光制御に影響を与えることのないよう前記重み付け変更手段を制御する構成とした。ここでノイズ成分を増幅しない制御とは、例えば上記特性変化点付近の信号をすべて一律同じ値にしてしまう、もしくは値を近づけるようゲイン補正を行うことで、特性変化点付近の信号ばらつきをキャンセルすることができる。例えば信号をすべて一律同じ値にする方法であれば、下記演算により実現できる。
【００３３】
撮像素子の入出力特性を示す図５において、横軸の入射光レベルをX、それに対する出力レベルをF(X)とする。また、特性変化点の入射光レベルをAとし、予め定めた所定の定数αとβとしたとき、
（A−α）≦X≦（A＋β）    
の条件に当てはまった場合、重み付け変更手段の出力F(X´)を、
F(X´)＝F(A)
とすることで実現できる。
【００３４】
尚、前記重み付け変更手段において上記特性変化点付近については重み付けを一定レベルにするとしたが、上記特性変化点付近では前記合成手段において積算の判定から除外するとしても良い。また、上記特性変化点付近では前記合成手段において積算の寄与率を下げても良い。
【００３５】
以上の構成により、ワイドダイナミックレンジを実現しつつ、撮像素子の入出力特性における特性変化点付近に被写体が存在した場合であっても、特性変化点のばらつきによるノイズの影響を受けることなく最適な自動露光制御が行われる画像処理装置を実現できる。
【実施例４】
【００３６】
本発明における実施例４について詳細に説明する。本実施例４は、前記実施例１または２または3のいずれかの構成であって、かつ撮影する画像のうち最も重視すべき画像領域が、最適なコントラストを得られるよう制御するものである。
【００３７】
入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子は、例えば図４(a)〜(d)のようにある特定の輝度領域を撮像した際の出力信号が圧縮された特性であるとしたが、信号が圧縮された領域で撮像された画像は信号の差分が小さくなりコントラスト感が欠ける映像となってしまうという課題がある。
【００３８】
図８は、図４(a)のケース１の特性を持つ撮像素子において、上記課題を詳細に説明するための図である。例えば、リニアA領域である入射光a1を入力した場合の撮像素子の出力信号量をｆ(a1)とし、同じくリニアA領域である入射光a2を入力した場合の撮像素子の出力信号量をｆ(a2)としたとき、a１とa2の差分をXa、f(a1)とf(a2)の差分をYaとする。また例えば、リニア領域Bである入射光b1を入力した場合の撮像素子の出力信号をf(b1)とし、同じくリニア領域Bである入射光b2を入力した場合の撮像素子の出力信号をf(b2)とし、b1とb2の差分をXb、f(b1)と(b2)の差分をYbとする。このとき、Xa＝Xｂと仮定すると、Ya＞Ybとなる。一般に、信号の差分が小さければ、画像信号の振幅が小さいためメリハリのない画像、即ちコントラスト感に欠ける映像となってしまう。例えば特定の信号差分を有する被写体をリニアAの領域で撮像した場合と、リニアBの領域で撮像した場合を比較すると、前者リニアBの領域で撮像した場合の方がコントラスト感の低い映像となってしまう。
【００３９】
ところが、該入出力特性が非線形である撮像素子を用いた撮像装置において、従来の露出制御ではセンサの非線形特性を加味しておらず、重要視される被写体がリニアAの領域とリニアBの領域のどちらで撮像されるかが特定できず、必ずしも最適なコントラストを得ることができないという課題があった。
【００４０】
そこで本発明では上記課題を解決するために、前記実施例１〜３のいずれかの構成において、露光制御手段１０が、重要視される被写体がリニアAの領域の中で最も出力レベルが高い領域で撮像されるよう露光制御を行う構成とした。
【００４１】
例えば、前述の実施例１に於いて、積算手段9における積算処理が画面全体に対して一様に行う方法であれば、その情報を基に画面全体の平均値がリニアAの領域の中で最も出力レベルが高い領域で撮像できるよう、絞り、シャッタ、利得の制御を行うことで、画面全体が明るく、且つコントラスト感が高い映像を取得することができる。
【００４２】
また例えば、前述の実施例１に於いて、積算手段9における積算処理が、顔認識等のオブジェクト認識手段を有し、オブジェクト手段にて検出された領域の重みを大きくして積算する方法であれば、その情報を基に顔の画像領域の信号がリニアAの領域の中で最も出力レベルが高い領域で撮像できるよう、絞り、シャッタ、利得の制御を行うことで、顔が明るく、且つコントラスト感が高い映像を取得することができる。
【００４３】
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて明るくコントラストが高い映像を取得ことができる自動露光制御を実現できる。
【００４４】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４５】
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、２つ以上の実施例を、その全部または一部において同時に採用する構成も可能である。
【符号の説明】
【００４６】
１：絞り
２：レンズ
３：撮像素子
４：入力手段
５：カメラ信号処理手段
６：出力手段
７：信号レベル検出手段
８：重み変更手段
９：積算手段
１０：露光制御手段
１１：絞り値変更手段
１２：合成手段
１３：加算手段
【図１】
2012147060.tif 000003
【図２】
2012147060.tif 000004
【図３】
2012147060.tif 000005
【図４（ａ）】
2012147060.tif 000006
【図４（ｂ）】
2012147060.tif 000007
【図４（ｃ）】
2012147060.tif 000008
【図４（ｄ）】
2012147060.tif 000009
【図５】
2012147060.tif 000010
【図６】
2012147060.tif 000011
【図７】
2012147060.tif 000012
【図８】
2012147060.tif 000013