(57)【特許請求の範囲】
【請求項１】
露光時間が長時間と短時間である長時間露光信号と短時間露光信号の２種類の映像信号を１フィールド期間内に交互に出力する撮像素子と、前記長時間露光信号と前記短時間露光信号を所定の輝度レベルで合成する手段とを備えた固体撮像装置において、前記長時間露光信号のゲインおよび前記短時間露光信号のゲインを異なる値に設定するとともに、前記長時間露光信号のニーポイントおよび前記短時間露光信号のニーポイントを異なる値に設定する手段を備え、
前記長時間露光信号のニーポイントを前記所定の輝度レベルより低いポイントに設定し、前記短時間露光信号のニーポイントを前記所定の輝度レベルより高いポイントに設定することを特徴とする固体撮像装置。
【請求項２】
前記長時間露光信号のゲインおよび前記短時間露光信号のゲインを異なる値に設定するとともに、前記長時間露光信号のニーポイントおよび前記短時間露光信号のニーポイントを異なる値に設定する手段は、前記長時間露光信号の期間と前記短時間露光信号の期間を識別する信号を発生する長時間／短時間露光信号期間識別パルス発生器と、ゲイン設定手段と、ニーポイント設定手段とを有し、前記長時間／短時間露光信号期間識別パルス発生器からの識別信号を用いて、ゲイン設定値およびニーポイント設定値を切り替えることにより、前記長時間露光信号と前記短時間露光信号に対するゲインおよびニーポイントを、それぞれ独立に設定できるようにしたことを特徴とする請求項１記載の固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はビデオカメラ等に用いられる、露光時間が長時間と短時間である長時間露光信号と短時間露光信号の２種類の映像信号を１フィールド期間内に交互に出力する撮像素子と、前記長時間露光信号と前記短時間露光信号を所定の輝度レベルで合成する手段とを備えた固体撮像装置において、特にニーポイント、およびゲインの制御方法に関するものである。
【０００２】
【従来の技術】
以下に従来の固体撮像素子のニー処理、及びゲイン制御方法について説明する。
【０００３】
図３は、２倍速駆動の撮像素子を用いた従来の固体撮像素子のダイナミックレンジ拡大方式のの構成図である。
【０００４】
図３において、撮像素子１は、水平ＣＣＤの転送速度が通常の２倍速度で、露光量が長時間と短時間である２種類の映像信号を１フィールド期間内に交互に出力できるものであり、その駆動は、撮像素子駆動用タイミングパルス発生器１２により制御される。撮像素子１より出力された映像信号は、相関二重サンプリング（ＣＤＳ）処理部２により低域信号に変換後、オートゲイン制御（ＡＧＣ）部３によりゲイン制御された後、ダイナミックレンジを拡げるために、ニー処理部４により、所定の輝度レベル以上の信号を圧縮する、いわゆるニー処理を実施する。所定の輝度レベルはニーポイントであり、固定値である。このようなニー処理を実施した後、Ａ／Ｄ変換器５により、アナログ信号からデジタル信号に変換される。変換されたデジタル信号は、時間軸変換器６により標準速度で且つ、同一タイミングである長時間露光信号と短時間露光信号に分離後、合成処理部７により所定の輝度レベル以下を長時間露光信号、それ以上を短時間露光信号を用いる様に、且つ、なめらかに合成された後、階調補正部８により階調補正され、メイン信号処理部１１に送られる。このとき、輝度平均値検波部９により、合成信号から輝度平均値を抽出し、これをマイクロコンピュータ１０に取り込む。マイクロコンピュータ１０は、輝度平均値と所定の輝度目標値を比較し、輝度平均値が目標値より低い場合、オートゲイン制御（ＡＧＣ）部３のゲインを上げることにより映像レベルを上げて、逆の場合には、映像レベルを下げる様にオートゲイン制御（ＡＧＣ）部３に設定するゲインを算出し、映像レベルを制御している。
【０００５】
【発明が解決しようとする課題】
２倍速駆動の撮像素子を用いたダイナミックレンジ拡大信号処理では、短時間露光信号の露光時間を短くするほど、ダイナミックレンジを拡げることができるが、長時間露光信号と短時間露光信号の露光時間の差が大きくなるほど、長時間露光信号と短時間露光信号の光量変化に対する信号量の変化量の割合がなめらかに合成することが難しくなる。長時間露光信号の露光時間は、１垂直走査時間（ＮＴＳＣ方式の場合、約１／６０秒）からブランキング期間（約１／１０００秒）を差し引いた時間以下であり、短時間露光信号の露光時間は、ブランキング期間が最大となるが、ダイナミックレンジ性能を向上させるために、従来、１／２０００秒で抑えていた短時間露光信号の露光時間を、１／４０００秒まで短くしようとすると、合成部分のなめらかさは半減し、階調感が悪化する。すなわち、ダイナミックレンジ性能を向上させるために、短時間露光信号の露光時間を短くすると、画質が劣化する。
【０００６】
この課題を解決するためには、ダイナミックレンジ性能を向上させるために、短時間露光信号の露光時間を短くしても、合成部の階調感を劣化させず、よりなめらかな合成を行うと同時に、短時間露光信号の露光時間を短くすることで得られたダイナミックレンジ性能の改善効果を損なわないようにする方法が必要がある。
【０００７】
そのために、よりなめらかな合成を行う方法であるが、まず、ダイナミックレンジ拡大が必要な被写体を撮像するときに限り、長時間露光信号のニーポイントを合成レベルより下げるように制御する。次に、Ｓ／Ｎ劣化を許容できる範囲で、短時間露光信号のゲイン上げることにする。このような処理を事前に行い、合成すると、長時間露光信号と短時間露光信号の、合成部付近における光量変化に対する信号量の変化量、すなわち、光量変化に対する傾きが、お互いに近づくために、よりなめらかな合成が可能になる。
【０００８】
しかし、短時間露光信号の露光時間を短くして、ダイナミックレンジを改善したにもかかわらず、短時間露光信号のゲインを、ただ、上げただけでは、ダイナミックレンジ改善効果を失う結果となるので、これを補うために、短時間露光信号のニーポイントを合成レベルより高いポイントに設定できるようにする。これは、すなわち、短時間露光信号に疑似的なガンマ処理を施すことになる。このとき、長時間露光信号のニーポイントは、前述の理由により、別途、独立に制御する必要があるので、長時間露光信号と短時間露光信号のニーポイントは、異なるレベルに設定できるような回路構成が必要になる。また、ゲインについても、長時間露光信号のゲインとは、低照度被写体を撮像するときに、最大になるように制御されるものであるが、同様なゲイン制御を、短時間露光信号に対して実施するべきではない。つまり、低照度部と高照度部が混在するような被写体を撮像したとき、且つ、低照度部の照度が、ゲインを上げなければならないほど、暗い条件のとき、長時間露光信号はゲインアップさせる必要があるが、同様に短時間露光信号をゲインアップさせると、高輝度画像部分のＳ／Ｎが不必要に悪化することになるからである。つまり、短時間露光信号に対するゲイン制御は、長時間露光信号に対するゲイン制御とは全く性格が異なり、なめらかな合成を行うために実施するもので良い。
【０００９】
従って、ニーポイント設定と同様に、ゲイン設定についても、長時間露光信号と短時間露光信号は、独立に異なる設定ができるようにする必要がある。
【００１０】
しかしながら上記の従来の固体撮像装置では、長時間露光信号と短時間露光信号が、時系列に撮像素子から出力され、ニー処理部、及びオートゲイン制御部に対して、長時間露光信号と短時間露光信号に独立に異なるゲイン設定、およびニーポイント設定ができないという問題を有している。
【００１１】
本発明は上記従来の問題を解決するもので、長時間露光信号と短時間露光信号をなめらかに合成させ、ダイナミックレンジ性能を向上させながら、合成信号の画質を向上することができる固体撮像装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の固体撮像装置は、露光時間が長時間と短時間である長時間露光信号と短時間露光信号の２種類の映像信号を１フィールド期間内に交互に出力する撮像素子と、前記長時間露光信号と前記短時間露光信号を所定の輝度レベルで合成する手段とを備えた固体撮像装置において、前記長時間露光信号のゲインおよび前記短時間露光信号のゲインを異なる値に設定するとともに、前記長時間露光信号のニーポイントおよび前記短時間露光信号のニーポイントを異なる値に設定する手段を備え、前記長時間露光信号のニーポイントを前記所定の輝度レベルより低いポイントに設定し、前記短時間露光信号のニーポイントを前記所定の輝度レベルより高いポイントに設定するものであり、長時間露光信号と短時間露光信号を合成することでダイナミックレンジの拡大を行い、長時間露光信号のニーポイントを合成レベルである所定の輝度レベルより低いポイントに設定し、短時間露光信号のニーポイントを合成レベルである所定の輝度レベルより高いポイントに設定することで、合成部分の階調感を改善するという作用を有する。
【００１３】
また、本発明の固体撮像装置は、長時間露光信号と短時間露光信号のゲインおよびニーポイントをそれぞれ異なる値に設定する手段は、長時間露光信号の期間と前記短時間露光信号の期間を識別する信号を発生する長時間／短時間露光信号期間識別パルス発生器と、ゲイン設定手段と、ニーポイント設定手段とを有し、長時間／短時間露光信号期間識別パルス発生器からの識別信号を用いて、ゲイン設定値およびニーポイント設定値を切り替えることにより、長時間露光信号と短時間露光信号に対するゲインおよびニーポイントを、それぞれ独立に設定できるようにしたものであり、１系統のゲイン調整回路及び、ニーポイント設定回路を用いて、長時間露光信号と短時間露光信号のゲイン及びニーポイントを任意に設定するという作用を有する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。図１は、本発明の実施の形態におけるダイナミックレンジ拡大方式のニーポイント制御の構成図である。
【００１６】
図１において、撮像素子１は、水平ＣＣＤの転送速度が通常の２倍速度で、露光量が長時間と短時間である２種類の映像信号を１フィールド期間内に交互に出力できるものであり、その駆動は、撮像素子駆動用タイミングパルス発生器１２により制御される。撮像素子１より出力された映像信号は、相関二重サンプリング（ＣＤＳ）処理部２により低域信号に変換後、オートゲイン制御（ＡＧＣ）部３によりゲイン制御された後、ダイナミックレンジを拡げるために、ニー処理部４により、所定の輝度レベル以上の信号を圧縮する、いわゆるニー処理を実施する。
【００１７】
本発明では、１系統のオートゲイン制御（ＡＧＣ）部３及び、ニー処理部４のゲイン、およびニーポイントの設定値を、長時間露光信号と短時間露光信号とで切り替えることにより、長時間露光信号と短時間露光信号のゲインおよびニーポイントを、それぞれ独立に設定できるようにしたものであり、オートゲイン制御（ＡＧＣ）部３に与えられるゲインは、オートゲイン制御（ＡＧＣ）部３のゲインセレクタ１３により、また、ニー処理部４に与えられるニーポイントはニーポイントセレクタ１４を用いて、独立にゲイン、及びニーポイントを設定することができる。各セレクタの切り替え信号は、撮像素子駆動用タイミングパルス発生器１２に内蔵した、長時間／短時間露光信号期間識別パルス発生器１５より、図３に示すような識別パルスを出力する。
【００１８】
ゲイン処理、ニー処理を実施した映像信号は、Ａ／Ｄ変換器５により、アナログ信号からデジタル信号に変換され、時間軸変換器６により標準速度で且つ、同一タイミングである長時間露光信号と短時間露光信号に分離後、７の合成処理部により所定の輝度レベル以下を長時間露光信号、それ以上を短時間露光信号を用いる様に、且つ、なめらかに合成される。
【００１９】
図５は、従来の固体撮像装置におけるニーポイント制御による合成動作を説明するための図である。
【００２０】
最終映像出力にて、１００％レベル付近が合成レベルとなるように、合成レベルと合成幅を規定する。長時間露光信号 Ylong は合成レベル以上から圧縮を開始させるゲインＫを乗じた信号 K×Ylongを作成し、短時間露光信号 Yshort にはオフセット値 Yoffsetを加算した後、合成レベル以下で圧縮されるゲイン（１−Ｋ）を乗じた信号 (1-K)×（Yshort + Yoffset）を作成し、両者を加算することで、合成信号 Ymix を作成する。
【００２１】
従来例では、ニーポイントレベルは固定であり、合成レベルとほぼ同じ、最終映像出力にて、１００％付近に設定する。
【００２２】
ＮＴＳＣ方式の場合、長時間露光信号の露光時間は、１垂直走査時間（ＮＴＳＣ方式の場合、約１／６０秒）からブランキング期間（約１／１０００秒）を差し引いた時間以下であり、短時間露光信号の露光時間は、ブランキング期間が最大となるが、合成部分の画質劣化を許容できる限界として、短時間露光信号の最小露光時間を、１／２０００秒とした。さらに、ダイナミックレンジ性能を向上させるために、従来、１／２０００秒で抑えていた短時間露光信号の露光時間を、１／４０００秒まで短くしようとすると、合成部分のなめらかさは半減し、階調感が悪化する。合成レベルをニーポイントレベルと同じとする従来例では、短時間露光信号の露光時間を１／２０００秒とすると、長時間露光信号の露光時間が約１／６０秒なので、入射光量と信号量の関係は、図２の様になり、合成ポイント付近の長時間露光信号と短時間露光信号の入射光量と信号量変化率、すなわち、傾き比は、露光時間比となり、
（長時間露光信号の傾き）：（短時間露光信号の傾き）＝  １：１／３２
となる。合成ポイント付近の長時間露光信号と短時間露光信号の傾きが近いほど、なめらかさに合成できる。
【００２３】
一方、ダイナミックレンジ性能を改善するためには、短時間露光信号の露光時間をさらに短くすれば良く、従来、１／２０００秒であった最短露光時間を１／４０００秒まで短くすると、ダイナミックレンジ性能は２倍改善できるが、合成ポイント付近の長時間露光信号と短時間露光信号の傾き比は、
（長時間露光信号の傾き）：（短時間露光信号の傾き）＝  １：１／６４
となり、合成部分の画質が劣化する。
【００２４】
しかし、上記、本実施例の構成によれば、長時間露光信号と短時間露光信号のゲイン、及びニーポイントを独立に設定できるようにしたので、図２に示すように、長時間露光信号のニーポイント及び、短時間露光信号のゲイン及びニーポイントを特有の設定に制御した後、合成することができる。
【００２５】
まず、ダイナミックレンジが必要な被写体を撮像するときに限り、通常１００％である長時間露光信号のニーポイントを８０％付近まで下げる。合成レベルは変わらずに１００％付近の設定としておくので、長時間露光信号は、ニー処理による圧縮が実施された輝度レベルに合成ポイントが存在し、合成のなめらかさを、従来の２倍改善することができる。
【００２６】
ここで、短時間露光信号専用の輝度平均値検波部１６により、短時間露光信号の輝度平均値を検出し、これをマイクロコンピュータ１０に取り込み、マイクロコンピュータに搭載したアルゴリズムは、短時間露光信号の輝度平均値が大きいとき、ダイナミックレンジが必要な被写体と判断し、長時間露光信号のニーポイントを下げる様に制御する。
【００２７】
次に、短時間露光信号に対しては、まず、短時間露光信号のゲインを２倍程度に固定する。
【００２８】
短時間露光信号のゲイン設定は、長時間露光信号のゲイン設定とは異なり、合成のなめらかさの改善のみを目的とする。長時間露光信号のゲインとは、低照度被写体を撮像するときに、最大になるように制御されるものであるが、同様なゲイン制御を、短時間露光信号に対して実施するべきではない。つまり、低照度部と高照度部が混在するような被写体を撮像したとき、且つ、低照度部の照度が、ゲインを上げなければならないほど、暗い条件のとき、長時間露光信号はゲインアップさせる必要があるが、同様に短時間露光信号をゲインアップさせると、高輝度画像部分のＳ／Ｎが不必要に悪化することになるからである。つまり、短時間露光信号に対するゲイン制御は、長時間露光信号に対するゲイン制御とは全く性格が異なり、なめらかな合成を行うために実施するもので良い。しかし、短時間露光信号の露光時間を短くして、ダイナミックレンジを改善したにもかかわらず、短時間露光信号のゲインを２倍固定にするだけでは、ダイナミックレンジ改善効果を失う結果となるので、これを補うために、短時間露光信号のニーポイントを合成レベルより高いポイントに設定する。すなわち、短時間露光信号用のニーポイントを最終映像出力にて、１００％以上に固定すると、図２に示されるように、短時間露光信号に折れ線ガンマ処理を実施することと同等になり、ダイナミックレンジの改善効果を損なうこと無く、合成のなめらかさを２倍改善できる。
【００２９】
従って、長時間露光信号のニーポイント制御と合わせて、４倍の改善が可能となり、合成ポイントの傾き比は、短時間露光信号の露光時間を１／４０００秒とした場合でも、
（長時間露光信号の傾き）：（短時間露光信号の傾き）＝  １：１／１６
となり、ダイナミックレンジ性能は従来比２倍の改善、同時に、合成部分のなめらかさも従来比２倍の改善が可能となる。
【００３０】
合成信号は、階調補正部８により、画像のヒストグラム度数の大きい階調程、コントラストが強調されるような補正を実施した後、メイン信号処理回路１１に送られる。
このとき、輝度平均値検波部９により、合成信号から輝度平均値を抽出し、これをマイクロコンピュータ１０に取り込む。マイクロコンピュータ１０は、輝度平均値と所定の輝度目標値を比較し、輝度平均値が目標値より低い場合、オートゲイン制御（ＡＧＣ）部３の長時間露光信号用のゲインを上げることにより映像レベルを上げて、逆の場合には、映像レベルを下げる様にオートゲイン制御（ＡＧＣ）部３に設定するゲインを算出し、映像レベルを制御する。
【００３１】
以上のように、長時間露光信号と短時間露光信号のゲインおよびニーポイントを、それぞれ独立に制御可能な構成とすることで、長時間露光信号と短時間露光信号を、なめらかに合成させ、ダイナミックレンジ性能を向上させながら、合成信号の画質を向上させることができる。
また、低照度部と高照度部が混在するような被写体を撮像したとき、且つ、低照度部の照度が、ゲインを上げなければならないほど、暗い条件のとき、長時間露光信号はゲインアップしても、短時間露光信号はゲイン固定なので、高輝度画像部分のＳ／Ｎが悪化しないという効果も有する。
【００３２】
【発明の効果】
以上のように本発明によれば、露光量の異なる２種類の映像信号を合成してダイナミックレンジを拡大する固体撮像装置において、前記長時間露光信号のゲインおよび前記短時間露光信号のゲインを異なる値に設定するとともに、前記長時間露光信号のニーポイントおよび前記短時間露光信号のニーポイントを異なる値に設定する手段を備え、前記長時間露光信号のニーポイントを前記所定の輝度レベルより低いポイントに設定し、前記短時間露光信号のニーポイントを前記所定の輝度レベルより高いポイントに設定するものであり、長時間露光信号と短時間露光信号を合成することでダイナミックレンジの拡大を行い、長時間露光信号のニーポイントを合成レベルである所定の輝度レベルより低いポイントに設定し、短時間露光信号のニーポイントを合成レベルである所定の輝度レベルより高いポイントに設定することで、長時間露光信号と短時間露光信号をなめらかに合成させ、合成信号の画質を向上させることができる優れた固体撮像装置を提供できるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態におけるダイナミックレンジ拡大方式のニーポイント制御の構成図
【図２】本発明の実施の形態におけるニーポイント制御による合成動作を説明するための図
【図３】長時間露光信号と短時間露光信号の期間識別パルスのタイミングチャート
【図４】従来の固体撮像素子のダイナミックレンジ拡大方式のニー処理及びゲイン制御の構成図
【図５】従来の固体撮像装置におけるニーポイント制御による合成動作を説明するための図
【符号の説明】
１  撮像素子
２  相関二重サンプリング（ＣＤＳ）処理部
３  オートゲイン制御（ＡＧＣ）部
４  ニー処理部
５  Ａ／Ｄ変換器
６  時間軸変換器
７  合成処理部
８  階調補正部
９  輝度平均値検波部
１０  マイクロコンピュータ
１１  メイン信号処理部
１２  撮像素子駆動用タイミングパルス発生器
１３  ＡＧＣ部ゲインセレクタ
１４  ニーポイントセレクタ
１５  長時間／短時間露光信号期間識別パルス発生器
１６  短時間露光信号専用輝度平均値検波部
【図１】
0003642245.tif 000002
【図２】
0003642245.tif 000003
【図３】
0003642245.tif 000004
【図４】
0003642245.tif 000005
【図５】
0003642245.tif 000006