(57)【要約】【課題】ワイドダイナミックレンジで且つ高コントラスト感が得られる画像を取得可能な画像信号処理装置を提供する。【解決手段】例えば、被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、該撮像素子からの画像信号に所定の処理を行い入力する入力手段と、該入力手段からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段と、該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段と、前記コントラスト拡張手段からの画像信号を所定の処理を行い出力する出力手段と、を持つ構成とした。【選択図】  図１
2011146881.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、
該撮像素子からの画像信号に所定の処理を行い入力する入力手段と、
該入力手段からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段と、
該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、
該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段と、
前記コントラスト拡張手段からの画像信号に対して所定の処理を行い出力する出力手段と、
を持つ画像信号処理装置。
【請求項２】
被写体からの入射光を光電変換し画像信号として出力する際、少なくとも二つ以上の感度特性の異なる画像信号を出力する撮像素子と、
該撮像素子からの各画像信号に対して所定の処理を行い入力する入力手段と、
該入力手段からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段と、
該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、
該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段と、
を個別に有し、
前記コントラスト拡張手段からの各画像信号をひとつの画像信号に合成する合成手段と、
該合成手段からの画像信号に対して所定の処理を行い出力する出力手段と、
を持つ画像信号処理装置。
【請求項３】
前記請求項１または２の画像処理装置において、
コントラスト拡張手段とは、画像内の所定の画素領域において所定の輝度領域をヒストグラム拡張すること、
を特徴とする画像信号処理装置。
【請求項４】
前記請求項１または２の画像処理装置において、
撮像素子とは、各画素上に複数のカラーフィルタを備えたカラー単板撮像素子であって、
コントラスト拡張手段とは、所定の係数を用いてカラーマトリクス演算を行うことで色コントラストを拡張すること、
を特徴とする画像信号処理装置。
【請求項５】
前記請求項１または２の画像処理装置において、
信号レベル検出手段で検出する信号レベルとは、画像内の所定の画素領域におけるヒストグラム分布情報であること、
を特徴とする画像信号処理装置。
【請求項６】
前記請求項１または２の画像処理装置において、
信号レベル検出手段は、画像内の所定の画素領域における信号分布を示す情報を検出するものであって、該所定の画素領域の最大値最小値、平均値、周波数分布の少なくともひとつを検出するものとし、
コントラスト制御手段は、前記信号レベル検出手段で検出した信号分布を示す情報を基にヒストグラム分布を予測し、該ヒストグラム分布の判定結果と前記撮像素子の入出力特性の情報に基づいてコントラスト拡張手段の特性を変更すること、
を特徴とする画像信号処理装置。
【請求項７】
前記請求項１または２の画像処理装置において、
前記コントラスト制御手段は、前記撮像素子の入出力特性の情報として前記撮像素子の入力レベルと出力レベルを対応付けた情報をテーブルとして保持し、該テーブル情報と前記信号レベル検出手段で検出した情報を基に前記コントラスト拡張手段の特性を変更すること、
を特徴とする画像信号処理装置。
【請求項８】
前記請求項１または２の画像処理装置において、
コントラスト制御手段は、前記撮像素子の入出力特性の情報として前記撮像素子の入出力特性を表す関数式として保持し、該関数式と前記信号レベル検出手段で検出した情報を基に前記コントラスト拡張手段の特性を変更すること、
を特徴とする画像信号処理装置。
【請求項９】
前記請求項１または２の画像処理装置において、
コントラスト制御手段は、前記撮像素子の入出力特性の情報として複数の入射光の輝度レベルにおける圧縮率情報を保持しておき、該圧縮率情報から入出力特性を推定し、該推定した入出力特性と前記信号レベル検出手段で検出した情報を基に前記コントラスト拡張手段の特性を変更すること、
を特徴とする画像信号処理装置。
【請求項１０】
前記請求項１または２の画像処理装置において、
撮像素子は、所定の入射光レベルで特性が変化する特性変化点を持つものとし、
コントラスト制御手段は、前記撮像素子の入出力特性の情報として該特性変化点の情報を保持しておき、該特性変化点の情報と前記信号レベル検出手段からの情報を基に、特性変化点付近のノイズ成分を増幅しないよう前記コントラスト拡張手段を制御すること、
を特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ワイドダイナミックレンジと高コントラスト感を両立するための画像信号処理を行う、画像信号処理装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００２−１３５７８７号公報がある。該公報には「［課題］映像信号のダイナミックレンジを拡大して、なおかつガンマ補正やホワイトバランスが正しく行なわれるようにする。［解決手段］撮像素子２では、フィールド毎に長時間露光と短時間露光とが行なわれ、長時間露光信号と短時間露光信号とからなる信号が得られる。この信号はカメラ信号処理回路６に供給されて夫々長時間露光信号と短時間露光信号からなる輝度信号Ｙと各色信号が生成され、各色信号がホワイトバランス調整される。カメラ信号処理回路６から出力される輝度信号Ｙと各色信号は夫々、ガンマ補正回路７でその長時間露光信号と短時間露光信号毎に所定のガンマ補正がなされた後、スイツチ１３によって長時間露光信号と短時間露光信号とに分離されて異なるメモリ回路８，９に記憶され、同じフィールドの長時間露光信号と短時間露光信号が同じ位相となるように読み出されて加算部１０で加算される。」と記載されている（要約参照）。
【０００３】
また、他の背景技術として、例えば、特開２００２−７７７３３号公報がある。該公報には「［課題］本発明は、バイアス電圧を切り換えることなく、光電変換部に入射される入射光量に応じて、自動的に対数変換動作及び線形変換動作を切り換えることができる固体撮像装置を提供することを目的とする。［解決手段］信号φＶPSに、撮像時にＭＯＳトランジスタＴ１のソースに与える電圧ＶＨより低い電圧ＶＬとなるパルス信号を与えることによって、撮像開始時におけるＭＯＳトランジスタＴ１のゲート電圧をソース電圧より低い電圧とする。よって、撮像時において、被写体が所定の輝度値を超えるまでは、ＭＯＳトランジスタＴ１がカットオフ状態となるので、線形変換された電気信号が出力され、又、被写体が所定の輝度値を超えたとき、ＭＯＳトランジスタＴ１がサブスレッショルド領域で動作するので、対数変換された電気信号が出力される。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１３５７８７号公報
【特許文献２】特開２００２−７７７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、第１のワイドダイナミックレンジ画像生成技術として、シャッタ速度の異なる複数の画像を取得して合成することで、ワイドダイナミックレンジの画像を取得するものがある（特開２００２−１３５７８７号公報）。
【０００６】
また、第２のワイドダイナミックレンジ画像生成技術として、被写体の光を入力とし光電変換した後画像信号として出力する撮像素子を、画素飽和を極力抑えるよう非線形入出力特性とし、該非線形入出力特性の撮像素子を用いて撮影することでワイドダイナミックレンジの画像を取得するものがある（特開２００２−７７７３３号公報）。
【０００７】
前記第１のワイドダイナミックレンジ画像生成技術では、シャッタ速度を変えながら画像を逐一取得し合成する。即ち、合成前の各画像間には、時間のずれが存在する。このため、例えば動いている被写体を撮影した際、合成後の画像に動体歪が発生するという課題があった。
【０００８】
また前記第２のワイドダイナミックレンジ画像生成技術における非線形入出力特性を持つ撮像素子は、対数圧縮等により非線形入出力特性を実現しているため、画像信号の強弱が圧縮された画像となる。このため、例えば黒白の被写体を映した場合、一般的に使用されるリニア入出力特性の撮像素子で取得した画像に比べ、各画素の信号レベルの差分が小さくなるため、メリハリのないコントラスト感に欠ける映像となってしまうという課題があった。
【０００９】
また前記第２のワイドダイナミックレンジ画像生成技術における非線形入出力特性を持つ撮像素子は、対数圧縮等により非線形入出力特性を実現しているため、一般的に使用されるリニア入出力特性の撮像素子に比べ、信号の差分の圧縮度合いが入力光のレベルによって異なる。例えば、対数圧縮型であれば、光が比較的弱い被写体を映した場合は信号圧縮が小さいため信号差分を大きく取れるが、光が比較的強い被写体を映した場合は信号圧縮が大きいため信号差分が大きく取れなくなる。即ち、少なくとも２種類以上の明るさを持つ被写体を撮影する状況において、所定の明るさを持った第１の被写体が映っている第１の画像領域はコントラスト感が高いが、第１の被写体とは異なる明るさを持った第２の被写体が映っている第２の画像領域はコントラスト感に乏しいといった、被写体によって、コントラスト感の欠如度合いに違いが生じるという課題があった。
【００１０】
上記以外の課題は、後述する実施例によって明らかにする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため特許請求の範囲の構成を採用する。例えば、下記構成がある。
【００１２】
上記課題を解決するために、本発明における第1の構成は、被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子と、該撮像素子からの画像信号に所定の処理を行い入力する入力手段と、該入力手段からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段と、該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段と、前記コントラスト拡張手段からの画像信号を所定の処理を行い出力する出力手段と、を持つ構成とした。
【００１３】
また本発明おける第２の構成は、被写体からの入射光を光電変換し画像信号として出力する際、少なくとも二つ以上の感度特性の異なる画像信号を出力する撮像素子と、該撮像素子からの各画像信号に対して所定の処理を行い入力する入力手段と、該入力手段からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段と、該入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段と、を個別に有し、前記コントラスト拡張手段からの各画像信号をひとつの画像信号に合成する合成手段と、該合成手段からの画像信号を所定の処理を行い出力する出力手段と、を持つ構成とした。
【００１４】
上記以外の手段は、後述する実施例によって明らかにする。
【発明の効果】
【００１５】
本発明による画像処理装置を用いれば、例えば、従来技術における課題を解決でき、ワイドダイナミックレンジで動体歪がなく、且つ撮影した被写体に応じて最適なコントラスト感が得られる画像を取得できる。
【００１６】
上記以外の効果は、後述する実施例によって明らかにする。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１および２における基本構成図
【図２】本発明の実施例３における基本構成図
【図３】本発明における撮像素子の入出力特性の例
【図４】本発明におけるコントラスト拡張の例１
【図５】本発明におけるコントラスト拡張の例２
【図６】本発明における撮像素子の分光特性の例
【図７】本発明における撮像素子の入出力特性の例
【発明を実施するための形態】
【００１８】
以下、本発明に好適な実施形態の例として、距離測定器及び物体移動速度測定器の実施例を説明する。
【実施例１】
【００１９】
本発明における実施例１について詳細に説明する。図１は、本発明の実施例１における基本構成図である。被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子１と、該撮像素子からの画像信号に所定の処理を行い入力する入力手段２と、該入力手段からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３と、前記入力手段からの画像信号の信号レベルを検出する信号レベル検出手段４と、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段５と、前記コントラスト拡張手段からの画像信号を所定の処理を行い出力する出力手段６と、を持つ構成とした。
【００２０】
撮像素子１は非線形の入出力特性であるとしたが、図３を用いて詳細に説明する。図３(a)ケース１は、２種類のリニア特性を持ち、低輝度(入射光のレベルが低い)部分と比較して、高輝度部分の圧縮率を高くしている。高輝度(入射光のレベルが高い)部分を圧縮することで、画素飽和点をより高輝度側へシフトさせることができ、一般的なリニア特性の撮像素子に比べ、ワイドダイナミックレンジを実現可能である。さらに、後述のケース２〜４に対して、対数変換の演算量を削減できることから、低コスト化や小型化、低消費電力化を実現できる。また図３(b)ケース２は、低輝度部分はリニア特性であり、高輝度部分は対数特性とし、高輝度になればなるほど圧縮率を高くしている。これにより、ケース１に対してさらにワイドダイナミックレンジ化が可能である。さらに、後述するコントラスト拡大を、圧縮率が高い高輝度部分のみに適用する構成とすれば、演算量を削減できることから、低コスト化や小型化、低消費電力化が可能である。また図３(c)ケース３は全輝度領域で対数特性である。これにより、ケース２に対してさらにワイドダイナミックレンジ化が可能である。また図３(d)ケース４は、２種類の対数特性を持ち、低輝度部分と比較して、高輝度部分の圧縮率を高くしている。これにより、ケース３に対してさらにワイドダイナミックレンジ化が可能である。また図３のケース１〜４は、本発明における撮像素子の入出力特性の一例であり、特定の輝度領域、あるいは全輝度領域について所定の関数により圧縮した非線形特性であれば、上記以外でもよい。
【００２１】
入力手段２について詳細を説明する。所定の処理とは、撮像素子からの信号を入力して、後段の信号処理を行うブロック（コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５）にて画像信号処理を行うための入力インタフェース処理であり、例えばA/D変換処理やLVDS信号をデジタル信号に変換する処理であり、また例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。尚、入力手段２は、レベル調整のためのゲインコントロールや、フィルタ処理等、所定の画像信号処理を含む構成であってもよい。
【００２２】
コントラスト拡張手段３、信号レベル検出手段４、コントラスト制御手段５について図４を用いて詳細を説明する。信号レベル検出手段４は、画像内の所定の画素領域における信号がどのようなものかを検出する。検出する数値は、例えばヒストグラム分布、最大値最小値、平均値、周波数分布等、画像領域の信号分布を示す情報となる数値である。図４(a1)と(a2)は、低輝度領域と高輝度領域を撮影した際の2つのケースについてのヒストグラム分布であり。コントラスト制御手段５は、このヒストグラム分布情報と前記撮像素子の入出力特性の情報を基に、コントラスト拡張手段３の折れ線補正の入出力特性を制御し、ヒストグラムを拡大する。例えば図４(b1)と(b2)のようなヒストグラム拡大処理である。以上の演算によれば、画像領域ごとに、圧縮された信号を最大限に復元可能であり、ワイドダイナミックレンジを維持しつつ高コントラスト化を実現可能である。尚、コントラスト拡張手段３は折れ線補正としたが、非線形の特性でもよく、例えば図５のようなカーブ補正でもよい。この場合、ヒストグラム分布においてより画素数の多い箇所を中心にコントラスト拡大を行うことが可能である。
【００２３】
また、信号レベル検出手段４はヒストグラムを検出する変わりにより少ない演算量で検出可能な平均値、最大値と最小値、周波数分布等の少なくともひとつを検出し、コントラスト制御手段５は信号レベル検出手段４からの情報を基にヒストグラム分布を推定し、該推定したヒストグラム分布と前記撮像素子の入出力特性の情報に応じてコントラスト拡大手段３を制御する方法であってもよい。例えば、通常被写体を映した場合、そのヒストグラムの分布は平均値を中心として一定の輝度範囲に分布する確率が高い。さらに撮像素子が例えば対数圧縮等の入出力特性であった場合は、平均値が低輝度であればヒストグラム分布が広めであり、高輝度であればヒストグラム分布が狭い確率が高い。以上の原理から、例えば信号レベル検出手段は平均値を検出するものとし、コントラスト制御手段は撮像素子の入出力特性を表す情報を保持しておき、前記信号レベル検出手段からの平均値と前記撮像素子の入出力特性の情報を基にヒストグラム分布を予測しコントラスト拡張手段の強弱を決定する。以上の構成であっても、前記信号レベル検出手段がヒストグラム分布を検出する構成と同等の効果を得ることができ、且つ少ない演算量で実現できる。また、最大値と最小値はヒストグラム分布の最大値と最小値であるから、信号レベル検出手段が最大値と最小値を検出する場合であったとしても、ヒストグラム分布の予測は可能であり、前記信号レベル検出手段がヒストグラム分布を検出する構成と同等の効果を得ることができる。また、DCT(離散コサイン変換)やFFT(高速フーリエ変換)、アダマール変換、特定の周波数レスポンスを抽出するバンドパスフィルタ等、少なくとも1種類以上の周波数の特性を把握できれば、周波数分布は信号レベルの振幅であることから最大値と最小値を特定できるため、ヒストグラム分布の予測は可能であり、前記信号レベル検出手段がヒストグラム分布を検出する構成と同等の効果を得ることができる。
【００２４】
尚、前記コントラスト制御手段５において撮像素子の入出力特性を表す情報を保持するとしたが、入力レベルと出力レベルを対応付けた情報をテーブルとして保持する方法でよい。上記によれば、入出力特性の正確な把握が可能である。また、入出力特性を表す関数式を保持する方法でもよい。上記によれば、入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。また、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でもよい。上記によれば、例えばデータを間引いた状態で保持しておき近似補間することで入出力特性の正確な把握が可能であり、且つテーブルとして保存しておく方法に比べて保持するデータ量を削減できる。また、関数式を保持する方法は関数が多項式になればなるほど演算量が増えるが、間引いた状態のデータを近似補間で実現すれば相対的に演算量を削減できる。
【００２５】
出力手段６について詳細を説明する。所定の処理とは、TVやストレージ等の出力機器の信号フォーマットに変換する出力インタフェース処理であり、例えばNTSCやPALのビデオ出力に変換するものであり、例えばHDMI信号に変換するものであり、例えばネットワークのTCP/IPプロトコル信号に変換するものである。尚、出力手段６は、レベル調整のためのゲインコントロールや、フィルタ処理、エンコードによる圧縮処理等、所定の画像信号処理を含む構成であってもよい。
【００２６】
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適なコントラスト感のとなる映像を生成する画像処理装置を実現できる。
【実施例２】
【００２７】
本発明における実施例２について詳細に説明する。実施例２では、実施例１と同様に、被写体からの入射光を光電変換し画像信号として出力し且つその入出力特性が非線形である撮像素子１と、該撮像素子からの画像信号に所定の処理を行い入力する入力手段２と、該入力手段からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段３と、前記入力手段からの画像信号の信号レベルを検出する信号レベル検出手段４と、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段５と、前記コントラスト拡張手段からの画像信号を所定の処理を行い出力する出力手段６と、を持つ構成とした。
【００２８】
またさらに実施例２においては、前記撮像素子を各画素上に複数のカラーフィルタを備えたカラー単板撮像素子とし、コントラスト補正手段３はカラーマトリクス演算とした。
【００２９】
例えばカラーフィルタがRGBであるRGBベイヤ配列の撮像素子であり、かつ対数型の入出力特性を持つ場合、図６のように、低輝度領域を撮影した際の各画素の分光特性(a)と、高輝度領域を撮影した際の各画素の分光特性(b)が異なる。特に分光特性(b)は、各色が混色しているため、そのまま画像化すると色のコントラストが低い画像となる。即ち、入出力特性が非線形であるカラー撮像素子を用いた場合、入射光の輝度レベルに応じて色再現が変化してしまうという課題があった。
【００３０】
そこで本発明では、コントラスト拡張手段３はカラーマトリクス演算を行うものとし、たとえば下記マトリクス演算を行うものとする。R_in、G_in、B_inはそれぞれ入力手段２からの信号であり、R_out、G_out、B_outはそれぞれコントラスト拡張手段３の出力信号である。また、K**はマトリクス係数である。
【００３１】
R_out  ＝  R_in×Krr  ＋  G_in×Kgr  ＋  B_in×Kbr
G_out  ＝  R_in×Krg  ＋  G_in×Kgg  ＋  B_in×Kbg
B_out  ＝  R_in×Krb  ＋  G_in×Kgb  ＋  B_in×Kbb
コントラスト制御手段５は、信号レベル検出手段３からの信号と前記撮像素子の入出力特性の情報を基にマトリスク演算係数K**を制御するものとする。撮像素子の入出力特性を表す情報は、実施例１と同様入出力特性をデータテーブルとして保持する方法でよく、また入出力特性を表す関数式を保持する方法でもよい。また、複数の入射光の輝度レベルにおける圧縮率情報など、入出力特性を推定できる情報を保持する方法でもよい。また、色信号毎に個別に入出力特性を表す情報、あるいは推定できる情報を保持する方法でもよい。また、入射光の輝度レベルに応じて変化する分光特性情報を保持する方法でもよい。制御方法は、例えば高輝度領域の分光特性において混色が多い場合、混色を除去するよう係数を制御するものとする。
【００３２】
以上の構成によれば、画像領域ごとに、圧縮された色信号を最大限に復元可能であり、ワイドダイナミックレンジを維持しつつ、且つ撮影した被写体に応じて最適な色コントラスト感のとなる映像を生成する画像処理装置を実現できる。
【実施例３】
【００３３】
本発明における実施例３について詳細に説明する。図２は、本発明の実施例３における基本構成図である。被写体からの入射光を光電変換し画像信号として出力する際、少なくとも２つ以上の感度特性の異なる画像信号を出力する撮像素子１と、該撮像素子１からの各画像信号に対して所定の処理を行い入力する入力手段２と、該入力手段２からの画像信号に対してコントラストの拡張を行うコントラスト拡張手段と、前記入力手段からの画像信号の信号レベルを検出する信号レベル検出手段と、該信号レベル検出手段からの信号と前記撮像素子の入出力特性の情報を基に前記コントラスト拡張手段におけるコントラスト拡張の強弱を制御するコントラスト制御手段と、を個別に有し、前記コントラスト拡張手段からの各画像信号をひとつの画像信号に合成する合成手段と、該合成手段からの画像信号を所定の処理を行い出力する出力手段と、を持つ構成とした。
【００３４】
撮像素子１は少なくとも２つ以上の感度特性の異なる画像信号を出力するとしたが、図２の構成図は、第１の信号と第２の信号の二つの画像信号を出力する場合の例である。第１の信号、第２の信号は例えば、図３(a)ケース２におけるリニア特性の部分の画像信号と、対数特性の部分の画像信号である。
【００３５】
入力手段２は、前記撮像素子からの第１の信号と第２の信号を入力し、各々に対して前記実施例1または２に記載のものと同様の処理を行うものである。
【００３６】
コントラスト拡張手段３a、信号レベル検出手段４a、コントラスト制御手段５aは前記入力手段２からの第1の信号に対して、前記実施例１に記載のものと同様の処理を行うものとし、コントラスト拡張手段３b、信号レベル検出手段４b、コントラスト制御手段５bは前記入力手段２からの第２の信号に対して、前記実施例１または２に記載のものと同様の処理を行うものとする。
【００３７】
以上の構成により、ワイドダイナミックレンジを実現しつつ、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【００３８】
また、第1の信号と第２の信号に対して個別に信号レベルを検出することができるため、第1の信号と第２の信号が合成された信号に対して信号レベルを検出する実施例１の構成に比べて、より高精度な検出が可能である。また、第１の信号と第２の信号に対して個別にコントラスト制御を行うため、第１の信号と第２の信号が合成された信号に対してコントラスト制御を行う実施例１または２の構成に比べて、より高精度な制御が可能である。また、第１の信号と第２の信号に対して個別にコントラスト拡張を行った後合成するため、第１の信号と第２の信号が合成された信号に対してコントラスト拡張を行う実施例１または２の構成に比べて、より高精度なコントラスト拡張が可能である。
【００３９】
さらには、第１の信号と第２の信号を個別にコントラスト拡張後合成するため、第1の信号と第２の信号が合成された信号に対してコントラスト拡張を行う実施例1または２の構成に比べて、各々少ないビット精度での演算にて同等の演算精度を維持できる。例えば、実施例１または２の構成における入力手段２の出力ビット精度が３２bit精度であった場合、本実施例３の構成で同等の演算精度とするためには、第１の信号と第２の信号は各々１６bitとし、合成手段による合成後３２bitとすればよい。通常、bit数が少ないほうがオーバーヘッドが小さいため、回路で実現する場合は回路規模を縮小でき、ソフトウェアで実現する場合は演算時間を短縮できる。
【実施例４】
【００４０】
本発明における実施例４について詳細に説明する。本実施例４では、前記実施例１〜３のいずれかの構成であって、前記入出力特性が非線形である撮像素子１において、所定の入射光(輝度)レベルで特性が変化する特性変化点を持つ撮像素子とした。例えば、図３(a)(b)(d)のような特性変化点を持つ撮像素子である。
【００４１】
該特性変化点を持つ撮像素子は、例えば光電変換した電荷を特性変化点前の電荷と特性変化点後の電荷分に分けてキャパシタに格納しておき、合成して出力あるいは個別に出力することで実現できる。しかしながら、キャパシタに格納する際の電荷損失等により、合成後の特性変化点付近で出力レベルが下がってしまうという問題があり、例えば図７のような特性となる。上記特性変化点付近でレベルが下がると、画像ではノイズとして現れる。
【００４２】
そこで、本発明における実施例４では、前記コントラスト制御手段５は撮像素子の入出力特性の情報として特性変化点の情報を保持し、該特性変化点の情報と前記信号レベル検出手段からの情報を基に、特性変化点付近のノイズ成分を増幅しないよう前記コントラスト拡張手段を制御する構成とした。ここでノイズ成分を増幅しない制御とは、例えば特性変化点付近のコントラスト拡大を弱める、あるいは特性変化点付近のコントラスト拡大がかからないようにする、あるいは特性変化点付近のコントラストを拡大せず縮小させることで実現できる。
【００４３】
以上の構成により、ワイドダイナミックレンジを実現しつつ、特性変化点付近のノイズを増幅することなく、且つ撮影した被写体に応じて最適なコントラスト感となる映像を生成する画像処理装置を実現できる。
【００４４】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４５】
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、２つ以上の実施例を、その全部または一部において同時に採用する構成も可能である。
【符号の説明】
【００４６】
１：撮像素子
２：入力手段
３：コントラスト拡張手段
４：信号レベル検出手段
５：コントラスト制御手段
６：出力手段
７：合成手段
【図１】
2011146881.tif 000003
【図２】
2011146881.tif 000004
【図３】
2011146881.tif 000005
【図４】
2011146881.tif 000006
【図５】
2011146881.tif 000007
【図６】
2011146881.tif 000008
【図７】
2011146881.tif 000009