(57)【要約】【課題】入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得る。【解決手段】ハーフミラー２を透過した光が電子シャッタ付固体撮像素子３で長時間露光され、ハーフミラー２で反射した光が電子シャッタ付固体撮像素子４で短時間露光される。さらに、電子シャッタ付固体撮像素子３からの長時間露光出力Ａと電子シャッタ付固体撮像素子４からの短時間露光出力Ｂを用いて、演算回路５は、異なる露光時間の各出力撮像信号として合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する。【選択図】図１
2011171861.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、該電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有する固体撮像装置。
【請求項２】
入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、前記電子シャッタ付固体撮像素子は、該ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力する第１〜第ｎ（ｎは２以上の自然数）電子シャッタ付固体撮像素子を有し、前記演算手段は、該第１〜第ｎ電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する請求項１に記載の固体撮像装置。
【請求項３】
前記ｎが２の場合に、前記電子シャッタ付固体撮像素子は、前記ハーフミラー手段の透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、該ハーフミラー手段の透過および反射の他方により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子とを有し、前記演算手段は、異なる露光時間による露光出力として該長時間露光出力Ａと該短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する請求項２に記載の固体撮像装置。
【請求項４】
前記ｎが３の場合に、前記電子シャッタ付固体撮像素子は、前記ハーフミラー手段が第１および第２ハーフミラーで構成され、該第１ハーフミラーの透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、該第１ハーフミラーの透過および反射の他方により光照射される該第２ハーフミラーの透過および反射の一方により中時間露光されて中時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子と、該第２ハーフミラーの透過および反射の他方により短時間露光されて短時間露光出力Ｃを出力する第３電子シャッタ付固体撮像素子とを有し、前記演算手段は、該長時間露光出力Ａ、該中時間露光出力Ｂおよび該短時間露光出力Ｃを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する請求項２に記載の固体撮像装置。
【請求項５】
前記電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、順次出力した複数の撮像信号を記憶手段に記憶し、前記演算手段は、該記憶手段からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する請求項１に記載の固体撮像装置。
【請求項６】
前記演算手段は、前記異なる露光時間による露光出力として長時間露光出力Ａと短時間露光出力Ｂとを入力とし、該長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを該長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算出力する請求項３または５に記載の固体撮像装置。
合成信号ＯＵＴ＝Ａ−（ｋＡ２−Ｂ）／２・・（１）
【請求項７】
前記演算手段は、前記長時間露光出力Ａを二乗してこれに係数ｋと乗算する乗算回路と、該乗算回路からの出力から前記短時間露光出力Ｂを減算する第１減算回路と、該第１減算回路からの出力を２で割るシフト回路と、該シフト回路からの出力を該長時間露光出力Ａから減算する第２減算回路とを有する請求項６に記載の固体撮像装置。
【請求項８】
前記演算手段は、制御プロいグラムに基づいて、
前記長時間露光出力Ａを二乗しこれに係数ｋを乗算する第１ステップと、
該第１ステップの演算値から前記短時間露光出力Ｂの値を差し引く第２ステップと、
該第２ステップの演算値を「２」で割る第３ステップと、
該第３ステップの演算値を該長時間露光出力Ａから差し引く第４ステップとを実行する請求項６に記載の固体撮像装置。
【請求項９】
ＣＭＯＳ固体撮像装置またはＣＣＤ固体撮像装置である請求項１〜６のいずれかに記載の固体撮像装置。
【請求項１０】
請求項１〜９のいずれかに記載の固体撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体からの画像光を光電変換して撮像する固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器に関する。
【背景技術】
【０００２】
この種の従来の固体撮像装置として、特許文献１に、ハーフミラーにより複数に分割された入射光をそれぞれ、複数の電子シャッタ付固体撮像素子でそれぞれ受光し、複数の電子シャッタ付固体撮像素子でそれぞれ検出される信号を加算器で平均化する固体撮像装置が提案されている。
【０００３】
図６は、特許文献１に開示されている従来の固体撮像装置の要部構成例を示すブロック図である。
【０００４】
図６において、従来の固体撮像装置１００は、入射光が入射される撮影レンズ１０１と、撮影レンズ１０１の後方に設けられ、入射光の光軸方向Ｌに任意の角度（ここでは角度４５度）で傾斜して配置されたハーフミラー１０２と、二つの電子シャッタ付固体撮像素子１０３、１０４と、電子シャッタ付固体撮像素子１０３、１０４からの各撮像信号を加算する加算器１０５と、ダイナミックレンジ制御部１０６とを有している。
【０００５】
ハーフミラー１０２は、反射光と透過光の強度差が同等になるような反射率と透過率が共に５０パーセントの特性を持つものを用いてもよいが、反射率と透過率が共に任意の特性を持つものであってもよい。
【０００６】
電子シャッタ付固体撮像素子１０３は、ハーフミラー１０２からの光反射方向に垂直に設けられ、ハーフミラー１０２からの反射光を光電変換して撮像する。電子シャッタ付固体撮像素子１０４は、ハーフミラー１０２からの光透過方向に垂直に設けられ、ハーフミラー１０２からの透過光を光電変換して撮像する。電子シャッタ付固体撮像素子１０３は電子シャッタ機能を用いず、電子シャッタ付固体撮像素子１０４は、そのシャッタスピードを電子シャッタ機能を用いない場合の１／７．５に設定する。
【０００７】
ダイナミックレンジ制御部１０６は、二つの電子シャッタ付固体撮像素子１０３、１０４からの各撮像信号を加算器１０５で加算した後にその加算撮像信号（出力信号Ｃ１）が入力され、ダイナミックレンジ制御部１０６からの出力信号Ｃ２をビデオ信号として用いる。
【０００８】
図７は、図６の従来の固体撮像装置の電子シャッタ付固体撮像素子における入出力特性を示す図であり、図８は、図６の電子シャッタ付固体撮像素子からの撮像信号を加算した加算出力およびダイナミックレンジ制御部出力を示す図である。
【０００９】
図７の縦軸は電子シャッタ付固体撮像素子１０３，１０４の出力レベル（パーセント表示）、横軸は入射光の強度（パーセント表示）を示している。入射光はハーフミラー１０２で１／２され、電子シャッタ付固体撮像素子１０４は電子シャッタで電子シャッタ付固体撮像素子１０３の１／７．５に減衰されるので、入射光の強度に対して、電子シャッタ付固体撮像素子１０３，１０４における入出力特性は、図７に示すようになる。
【００１０】
図８の縦軸は加算器１０５からの加算出力レベル（パーセント表示）、横軸は入射光の強度（パーセント表示）を示している。加算器１０５の加算によりダイナミックレンジが拡大された加算撮像信号（出力信号Ｃ１）が得られる。加算器１０５の出力信号Ｃ１のノイズレベルは２１／２・Ｎになる。加算器１０５からの出力信号Ｃ１をダイナミックレンジ制御部１０６に入力することにより、出力信号Ｃ１を適正なピーク値（１００パーセント）に入るように可変減衰させ、加算器１０５の入出力特性を１／２にした特性の出力信号Ｃ２を得ることができる。このときのダイナミックレンジ制御部１０６の出力信号Ｃ２のノイズレベルは２１／２・Ｎ／２になり、従来のビデオ信号のノイズレベルよりも小さくすることができる。
【００１１】
以上により、ダイナミックレンジが拡大された従来よりもＳ／Ｎの劣化が少ない信号を得ることができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平４−１９６７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上従来の固体撮像装置では、電子シャッタ付固体撮像素子１０３、１０４で検出された各撮像信号を単純に加算器１０５で加算して平均化しているため、入射光に対する出力（明るさ）の変化量があるポイントで折れ線グラフのように大きく変化してしまい、不自然な画像になってしまうという問題を有していた。
【００１４】
本発明は、上記従来の問題を解決するもので、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の固体撮像装置は、被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、該電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有するものであり、そのことにより上記目的が達成される。
【００１６】
また、好ましくは、本発明の固体撮像装置において、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、前記電子シャッタ付固体撮像素子は、該ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力する第１〜第ｎ（ｎは２以上の自然数）電子シャッタ付固体撮像素子を有し、前記演算手段は、該第１〜第ｎ電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する。
【００１７】
さらに、好ましくは、本発明の固体撮像装置におけるｎが２の場合に、前記電子シャッタ付固体撮像素子は、前記ハーフミラー手段の透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、該ハーフミラー手段の透過および反射の他方により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子とを有し、前記演算手段は、異なる露光時間による露光出力として該長時間露光出力Ａと該短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する。
【００１８】
さらに、好ましくは、本発明の固体撮像装置におけるｎが３の場合に、前記電子シャッタ付固体撮像素子は、前記ハーフミラー手段が第１および第２ハーフミラーで構成され、該第１ハーフミラーの透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、該第１ハーフミラーの透過および反射の他方により光照射される該第２ハーフミラーの透過および反射の一方により中時間露光されて中時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子と、該第２ハーフミラーの透過および反射の他方により短時間露光されて短時間露光出力Ｃを出力する第３電子シャッタ付固体撮像素子とを有し、前記演算手段は、該長時間露光出力Ａ、該中時間露光出力Ｂおよび該短時間露光出力Ｃを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する。
【００１９】
さらに、好ましくは、本発明の固体撮像装置における電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、順次出力した複数の撮像信号を記憶手段に記憶し、前記演算手段は、該記憶手段からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する。
【００２０】
さらに、好ましくは、本発明の固体撮像装置における演算手段は、前記異なる露光時間による露光出力として長時間露光出力Ａと短時間露光出力Ｂとを入力とし、該長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを該長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算出力する。
【００２１】
合成信号ＯＵＴ＝Ａ−（ｋＡ２−Ｂ）／２・・（１）。
【００２２】
さらに、好ましくは、本発明の固体撮像装置における演算手段は、前記長時間露光出力Ａを二乗してこれに係数ｋと乗算する乗算回路と、該乗算回路からの出力から前記短時間露光出力Ｂを減算する第１減算回路と、該第１減算回路からの出力を２で割るシフト回路と、該シフト回路からの出力を該長時間露光出力Ａから減算する第２減算回路とを有する。
【００２３】
さらに、好ましくは、本発明の固体撮像装置における演算手段は、制御プロいグラムに基づいて、前記長時間露光出力Ａを二乗しこれに係数ｋを乗算する第１ステップと、該第１ステップの演算値から前記短時間露光出力Ｂの値を差し引く第２ステップと、該第２ステップの演算値を「２」で割る第３ステップと、該第３ステップの演算値を該長時間露光出力Ａから差し引く第４ステップとを実行する。
【００２４】
さらに、好ましくは、本発明の固体撮像装置はＣＭＯＳ固体撮像装置またはＣＣＤ固体撮像装置である。
【００２５】
本発明の電子情報機器は、本発明の上記固体撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。
【００２６】
上記構成により、以下、本発明の作用を説明する。
【００２７】
本発明においては、被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有している。
【００２８】
その第１の事例（実施形態１ではｎが２）として、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、電子シャッタ付固体撮像素子は、ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力する第１〜第ｎ（ｎは２以上の自然数）電子シャッタ付固体撮像素子を有し、演算手段は、第１〜第ｎ電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する。
【００２９】
その第２の事例（実施形態２ではｎが２）として、電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、演算手段は、電子シャッタ付固体撮像素子からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する演算手段とを有する。
【００３０】
演算手段は、長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算する。
【００３１】
合成信号ＯＵＴ＝Ａ−（ｋＡ２−Ｂ）／２・・（１）
これによって、異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力するので、従来のように単に各出力撮像信号を加算して平均化しただけではなく、演算式（１）により滑らかに出力変化するように合成処理しており、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることが可能となる。
【００３２】
また、例えば二つの露光条件（長時間露光と短時間露光）の異なる画像データを、上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力信号を得、より自然な画像が得られる。
【発明の効果】
【００３３】
以上により、本発明によれば、異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。
【００３４】
このように、複数の露光条件、例えば二つの露光条件（長時間露光と短時間露光）の異なる画像データを、上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力信号を得ることができ、より自然な画像を得ることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態１における固体撮像装置の要部構成例を示すブロック図である。
【図２】図１の演算回路の構成例を示すブロック図である。
【図３】図１の長時間露光出力Ａ、短時間露光出力Ｂ、これらに基づく従来合成信号Ｄおよび本発明合成信号ＯＵＴの入力と出力との入出力特性を示す図である。
【図４】本発明の実施形態２における固体撮像装置の要部構成例を示すブロック図である。
【図５】本発明の実施形態３として、本発明の実施形態１または２の固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図６】特許文献１に開示されている従来の固体撮像装置の要部構成例を示すブロック図である。
【図７】図６の従来の固体撮像装置の電子シャッタ付固体撮像素子における入出力特性を示す図である。
【図８】図６の電子シャッタ付固体撮像素子からの撮像信号を加算した加算出力およびダイナミックレンジ制御部出力を示す図である。
【発明を実施するための形態】
【００３６】
以下に、本発明の固体撮像装置の実施形態１、２および、この固体撮像装置の実施形態１または２を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態３について図面を参照しながら詳細に説明する。なお、各図における構成部材のそれぞれの厚みや長さなどは図面作成上の観点から、図示する構成に限定されるものではない。
【００３７】
（実施形態１）
図１は、本発明の実施形態１における固体撮像装置の要部構成例を示すブロック図である。
【００３８】
図１において、本実施形態１の固体撮像装置１０は、入射光が入射される撮影レンズ１と、この撮影レンズ１の後方に設けられ、入射光の光軸方向Ｌに任意の角度（ここでは角度４５度）で傾斜して配置されたハーフミラー手段としてのハーフミラー２と、ハーフミラー２を透過して長時間露光される電子シャッタ付固体撮像素子３と、ハーフミラー２で反射して短時間露光される電子シャッタ付固体撮像素子４と、電子シャッタ付固体撮像素子３からの長時間露光出力Ａと電子シャッタ付固体撮像素子４からの短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する演算回路５とを有している。
【００３９】
ハーフミラー２は、反射光と透過光の強度差が同等になるように、反射率と透過率が共に５０パーセントの特性を持つものを用いてもよいが、反射率と透過率が共に任意の特性を持つものであってもよい。
【００４０】
電子シャッタ付固体撮像素子３は、ハーフミラー２からの光透過方向に垂直に設けられ、ハーフミラー２からの透過光を光電変換して撮像する。電子シャッタ付固体撮像素子４は、ハーフミラー２からの光反射方向に垂直に設けられ、ハーフミラー２からの反射光を光電変換して撮像する。電子シャッタ付固体撮像素子３は電子シャッタ機能を用いず、電子シャッタ付固体撮像素子４は、そのシャッタスピードを電子シャッタ機能を用いない場合の例えば１／７．５に設定してもよい。、
演算回路５は、長時間露光出力Ａと短時間露光出力Ｂとを入力とし、ｋを係数として長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算する。これによって、長時間露光出力Ａと短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力することができる。
【００４１】
合成信号ＯＵＴ＝Ａ−（ｋＡ２−Ｂ）／２・・（１）
即ち、入射光に対する出力（明るさ）の変化量があるポイントで折れ線グラフのように大きく変化せず、長時間露光出力Ａと短時間露光出力Ｂを繋いだ入出力特性曲線が滑らかな２次曲線からなる合成信号ＯＵＴを出力するように、上記演算式（１）により演算処理が為される。このとき、長時間露光出力Ａと短時間露光出力Ｂはデジタル信号であり、上記演算式（１）による演算処理はデジタル信号処理である。
【００４２】
演算回路５からの合成信号ＯＵＴは、その後、カラー画像信号処理が為されて表示画面に表示される。
【００４３】
図２は、図１の演算回路５の構成例を示すブロック図である。
【００４４】
図２に示すように、演算回路５は、ｋを係数とし、長時間露光出力Ａを二乗してこれにｋと乗算する乗算回路５１と、乗算回路５１からの出力から短時間露光出力Ｂを演算する第１減算回路５２と、第１減算回路５２からの出力を２で割るシフト回路５３と、シフト回路５３からの出力を長時間露光出力Ａから演算する第２減算回路５４とを有して、第２減算回路５４から合成信号ＯＵＴを出力する。
【００４５】
図３は、図１の長時間露光出力Ａ、短時間露光出力Ｂ、これらに基づく従来合成信号Ｄおよび本発明合成信号ＯＵＴの入力と出力との入出力特性を示す図である。
【００４６】
図３に示すように、長時間露光出力Ａの折れ線グラフと短時間露光出力Ｂの直線との間に、単に平均化した従来合成信号Ｄの折れ線グラフが位置しているが、本発明合成信号ＯＵＴは、折れ線グラフにならず、入射光に対する出力（明るさ）の変化量が折れ線状に変化するポイントで滑らかに２次曲線で繋いだ滑らかな入出力特性曲線になっている。このとき、入出力特性曲線（本発明の合成信号ＯＵＴ）は、係数ｋが大きくなるほど、長時間露光出力Ａの折れ線グラフから離れ、係数ｋが小さくなるほど、長時間露光出力Ａの折れ線グラフに近づく。ここでは係数ｋを例えば「１」に決めて設定している。なお、係数ｋは合成出力の分解能で決定している。例えば合成出力が８ビットの分解能の場合、係数ｋは１／２５５となる。
【００４７】
以上により、本実施形態１によれば、ハーフミラー２を透過した光が電子シャッタ付固体撮像素子３で長時間露光され、ハーフミラー２で反射した光が電子シャッタ付固体撮像素子４で短時間露光される。さらに、電子シャッタ付固体撮像素子３からの長時間露光出力Ａと電子シャッタ付固体撮像素子４からの短時間露光出力Ｂを用いて、演算回路５は、異なる露光時間の各出力撮像信号として合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、上記演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。
【００４８】
このように、二つの露光条件（長時間露光と短時間露光）の異なる画像データを上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力を得ることができ、より自然な画像を得ることができる。即ち、ＣＭＯＳイメージセンサやＣＣＤイメージセンサにおいて、車がトンネルに入ったりトンネルから出たりするときなど、暗い所に露出を合わせると明るい所が白とびしてしまい、逆に、明るい所に露出を合わせると暗い所が黒つぶれしてしまうという問題を解消すると共に、より自然な画像を得ることができる。
【００４９】
なお、本実施形態１の固体撮像装置１０では、上記演算式（１）の演算処理を図２のハード回路構成である演算回路５を用いて行ったが、これに限らず、演算回路５に代えて、制御プログラムに基づいてソフトウェアにより行うこともできる。即ち、本実施形態１の変形例である固体撮像装置として、長時間露光出力Ａと短時間露光出力Ｂとを入力とし、ｋを係数として上記演算式（１）を制御プログラムに基づいて演算処理する演算手段としてのＣＰＵ（中央演算処理装置）が演算回路５に代えて設けられていてもよい。
【００５０】
その手順としては、まず、係数ｋ＝１（ここでは１／２５５）で、長時間露光出力Ａを二乗し、次に、この二乗した長時間露光出力Ａの値から短時間露光出力Ｂの値を差し引く減算処理を行う。その後、減算処理した値を「２」で割った値を元の長時間露光出力Ａから差し引いて合成信号ＯＵＴを出力する減算処理を行う。
【００５１】
演算手段は、制御プロいグラムに基づいて、長時間露光出力Ａを二乗しこれに係数ｋを乗算する第１ステップと、第１ステップの演算値から短時間露光出力Ｂの値を差し引く第２ステップと、第２ステップの演算値を「２」で割る第３ステップと、第３ステップの演算値を元の長時間露光出力Ａから差し引いてく第４ステップとを有する。これによって、ソフトウェアを用いた場合にも、上記ハードウェアを用いた場合と同様に、二つの露光条件の異なる画像データを上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂに元づく信号処理をして、入力光量に対してダイナミックレンジが広く出力の変化量が滑らかな出力を得ることができ、より自然な画像を得ることができる。
【００５２】
なお、本実施形態１では、ハーフミラー２の透過により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子３と、ハーフミラー２の反射により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子４とを有する場合について説明したが、これに限らず、ハーフミラー２の反射により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と３、ハーフミラー２の透過により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子４とを有する場合にも、本発明を適用できて、長時間露光出力Ａと短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力することができる。
【００５３】
（実施形態２）
上記実施形態１では、二つの電子シャッタ付固体撮像素子３、４を設けて、入射光を２分して同時に長時間露光出力Ａと短時間露光出力Ｂを得て上記演算式（１）の演算処理を行ったが、本実施形態２では、一つの電子シャッタ付固体撮像素子を設けて、電子シャッタ付固体撮像素子から時系列の二つの長時間露光出力Ａと短時間露光出力Ｂを得て上記本発明の演算式（１）の演算処理を行う場合について説明する。
【００５４】
図４は、本発明の実施形態２における固体撮像装置の要部構成例を示すブロック図である。
【００５５】
図４において、本実施形態２の固体撮像装置１０Ａは、入射光が入射される撮影レンズ１１と、この撮影レンズ１１の後方に設けられ、時系列の長時間露光出力Ａと短時間露光出力Ｂを出力する電子シャッタ付固体撮像素子１２と、電子シャッタ付固体撮像素子１２からの時系列の長時間露光出力Ａと短時間露光出力Ｂを記録する記憶手段としてのメモリ１３と、メモリ１３からの長時間露光出力Ａと短時間露光出力Ｂを用いて上記本発明の演算式（１）により演算処理して、滑らかに曲線状に変化する合成信号ＯＵＴを出力する演算回路１４とを有している。
【００５６】
演算回路１４は、時系列の長時間露光出力Ａと短時間露光出力Ｂが記憶されたメモリ１３から、長時間露光出力Ａと短時間露光出力Ｂを順次読み出して、係数ｋを乗算すると共に長時間露光出力Ａを二乗してこれに乗算する曲線を含む上記演算式（１）を演算して合成信号ＯＵＴを算出する。この場合、長時間露光出力Ａと短時間露光出力Ｂが上記実施形態１のように同時ではないため、早く動く画像など、厳密には時間的にずれた撮像画像になるものの、その時間誤差は小さく撮像画像に大きなずれはない。
【００５７】
以上により、本実施形態２によれば、演算回路１４は、異なる露光時間の時系列の各出力撮像信号として合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、上記演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。
【００５８】
このように、二つの露光条件（長時間露光と短時間露光）の異なる時系列画像データを上記本発明の演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理（演算処理）することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力（明るさが急に変化しない出力）を得ることができ、より自然な画像を得ることができる。この場合、ＣＭＯＳイメージセンサやＣＣＤイメージセンサにおいて、車がトンネルに入ったりトンネルから出たりするときなど、里暗い所に露出を合わせると明るい所が白とびしてしまい、逆に、明るい所に露出を合わせると暗い所が黒つぶれしてしまうという問題を解消することができ、より自然な画像を得ることができる。
【００５９】
なお、ここで、ＣＭＯＳイメージセンサとＣＣＤイメージセンサについて簡単に説明する。
【００６０】
ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサのように、垂直転送部により各受光部からの信号電荷をそれぞれ電荷転送し、垂直転送部からの信号電荷を水平転送部により水平方向に電荷転送するＣＣＤを使用せず、メモリデバイスのようにアルミニュウム配線などで構成される選択制御線によって、画素毎に受光部から信号電荷を読み出してそれを電圧変換し、その変換電圧に応じて信号増幅した撮像信号を、選択された画素から順次読み出すようになっている。一方、ＣＣＤイメージセンサは、ＣＣＤの駆動のために正負の複数の電源電圧を必要とするが、ＣＭＯＳイメージセンサは、単一電源で駆動が可能であり、ＣＣＤイメージセンサに比べ、低消費電力化や低電圧駆動が可能である。さらに、ＣＣＤイメージセンサの製造には、ＣＣＤ独自の製造プロセスを用いているために、ＣＭＯＳ回路で一般的に用いられる製造プロセスをそのまま適用することが難しい。これに対して、ＣＭＯＳイメージセンサは、ＣＭＯＳ回路で一般的に用いられる製造プロセスを使用しているために、表示制御用のドライバー回路や撮像制御用のドライバー回路、ＤＲＡＭなどの半導体メモリ、論理回路などの製造で多用されているＣＭＯＳプロセスにより、論理回路やアナログ回路、アナログデジタル変換回路などを同時に形成してしまうことができる。つまり、ＣＭＯＳイメージセンサは、半導体メモリ、表示制御用のドライバー回路および撮像制御用のドライバー回路と同一の半導体チップ上に形成することが容易であり、また、その製造に対しても、半導体メモリや表示制御用のドライバー回路および撮像制御用のドライバー回路と生産ラインを共有することが容易にできる。
【００６１】
なお、上記実施形態１では、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー２を有し、電子シャッタ付固体撮像素子として、ハーフミラー２からの光を異なる露光時間（長時間と短時間）だけ露光した２個の撮像信号を出力する第１および第２電子シャッタ付固体撮像素子３，４を有し、演算回路５は、第１および第２電子シャッタ付固体撮像素子３，４からの各出力撮像信号を合成した図３の本発明合成信号ＯＵＴのような滑らかな入出力特性曲線の合成信号を出力するように構成したが、これに限らず、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、電子シャッタ付固体撮像素子として、ハーフミラー手段からの光を異なる三つの露光時間（長時間、中時間および短時間）だけ露光した３個の撮像信号を出力する第１〜第３電子シャッタ付固体撮像素子を有し、演算回路は、該第１〜第３電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力するように構成することもできる。この場合、ハーフミラー手段は、入射光を透過光と反射光に分けるが、このときに、第１ハーフミラーで入射光を１対２の光量に分離し、１対２の光量のうちの「２」を第２ハーフミラーで１対１の光量に分離すれば、第１〜第３電子シャッタ付固体撮像素子にそれぞれ同等光量の光を照射することができる。これによって、第１〜第３電子シャッタ付固体撮像素子から、長時間露光出力Ａと短時間露光出力Ｂの他に、中時間露光出力を得ることができる。演算回路は、長時間露光出力Ａ、中時間露光出力および短時間露光出力Ｂを用いて、異なる三つの露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力することができる。
【００６２】
即ち、ｎが３の場合に、電子シャッタ付固体撮像素子は、ハーフミラー手段が第１および第２ハーフミラーで構成され、第１ハーフミラーの透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、第１ハーフミラーの透過および反射の他方により光照射される第２ハーフミラーの透過および反射の一方により中時間露光されて中時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子と、第２ハーフミラーの透過および反射の他方により短時間露光されて短時間露光出力Ｃを出力する第３電子シャッタ付固体撮像素子とを有し、演算手段は、長時間露光出力Ａ、中時間露光出力Ｂおよび短時間露光出力Ｃを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する。
【００６３】
要するに、ｎが２以上の自然数の場合に、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、電子シャッタ付固体撮像素子は、ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力する第１〜第ｎ（ｎは２以上の自然数）電子シャッタ付固体撮像素子を有し、演算手段は、第１〜第ｎ電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する。
【００６４】
また、上記実施形態２では、電子シャッタ付固体撮像素子１２は、異なる二つの露光時間（長時間と短時間）で時系列にそれぞれ露光した２個の撮像信号を順次出力し、演算回路１４は、電子シャッタ付固体撮像素子１２からの時系列の二つの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力するように構成したが、これに限らず、電子シャッタ付固体撮像素子は、異なる三つの露光時間（長時間、中時間および短時間）で時系列にそれぞれ露光した三つの撮像信号を順次出力し、演算回路は、電子シャッタ付固体撮像素子からの時系列の三つの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力するように構成することもできる。この場合、長時間露光出力Ａと短時間露光出力Ｂの他に、中時間露光出力を得ることができる。演算回路は、長時間露光出力Ａ、中時間露光出力および短時間露光出力Ｂを用いて、異なる三つの露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力することができる。
【００６５】
長時間露光出力Ａ、中時間露光出力Ｂおよび短時間露光出力Ｃを用いて、異なる三つの露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号ＯＵＴを出力することができる。この場合、その演算式としては、合成信号ＯＵＴ＝Ｂ−（ｋＢ２−Ａ）／２−（ｋＡ２−Ｃ）／４である。
【００６６】
長時間露光出力Ａおよび短時間露光出力Ｂの露光時間の具体例、また、長時間露光出力Ａ、中時間露光出力Ｂおよび短時間露光出力Ｃの露光時間の具体例については、例えば長時間露光出力Ａがｔで、中時間露光出力Ｂがｔ／５００、短時間露光出力Ｃがｔ／１０００である。
【００６７】
要するに、異なる露光時間が複数の場合、電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、演算手段は、電子シャッタ付固体撮像素子からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する。
【００６８】
（実施形態３）
図５は、本発明の実施形態３として、本発明の実施形態１または２の固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【００６９】
図５において、本実施形態３の電子情報機器９０は、上記実施形態１、２の固体撮像装置１０または１０Ａと、この固体撮像装置１０または１０Ａからのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９１と、この固体撮像装置１０または１０Ａからのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示手段９２と、この固体撮像装置１０または１０Ａからのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信手段９３と、この固体撮像装置１０または１０Ａからのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力手段９４とを有している。なお、この電子情報機器９０として、これに限らず、固体撮像装置１０または１０Ａの他に、メモリ部９１と、表示手段９２と、通信手段９３と、プリンタなどの画像出力手段９４とのうちの少なくともいずれかを有していてもよい。
【００７０】
この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。
【００７１】
したがって、本実施形態３によれば、この固体撮像装置１０または１０Ａからのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力手段９４により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９１に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。
【００７２】
なお、本実施形態１、２では、特に説明しなかったが、被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、この電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有していれば、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる本発明の目的を達成することができる。
【００７３】
以上のように、本発明の好ましい実施形態１〜３を用いて本発明を例示してきたが、本発明は、この実施形態１〜３に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜３の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【００７４】
本発明は、被写体からの画像光を光電変換して撮像する固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器の分野において、異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。
【００７５】
このように、複数の露光条件、例えば二つの露光条件（長時間露光と短時間露光）の異なる画像データを、上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力信号を得ることができ、より自然な画像を得ることができる。
【符号の説明】
【００７６】
１、１１  撮影レンズ
２  ハーフミラー（ハーフミラー手段）
３、４、１２  電子シャッタ付固体撮像素子
５、１４  演算回路（演算手段）
５１  乗算回路
５２  第１減算回路
５３  シフト回路
５４  第２減算回路
１０、１０Ａ  固体撮像装置
１３  メモリ
Ａ  長時間露光出力
Ｂ  短時間露光出力
ＯＵＴ  合成信号
ｋ  係数
９０  電子情報機器
９１  メモリ部
９２  表示手段
９３  通信手段
９４  画像出力手段
【図１】
2011171861.tif 000003
【図２】
2011171861.tif 000004
【図３】
2011171861.tif 000005
【図４】
2011171861.tif 000006
【図５】
2011171861.tif 000007
【図６】
2011171861.tif 000008
【図７】
2011171861.tif 000009
【図８】
2011171861.tif 000010