(57)【要約】【課題】  小型化及び高解像度化とダイナミックレンジの低下を防止する撮像方法及び装置を提供する。【解決手段】  光電変換素子と、当該光電変換素子に隣接し、当該光電変換素子からの信号電荷を転送する転送路との間の電気的障壁の高さを、前記光電変換素子が信号電荷を蓄積している期間中に下げるステップと、前記期間中に前記光電変換素子から前記転送路に移動して蓄積された第１の信号電荷と前記光電変換素子に蓄積された第２の信号電荷とを別々に読み出すステップとを有することを特徴とする。【選択図】      図９
2005167832.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子と、当該光電変換素子に隣接し、当該光電変換素子からの信号電荷を転送する転送路との間の電気的障壁の高さを、前記光電変換素子が信号電荷を蓄積している期間中に下げるステップと、
前記期間中に前記光電変換素子から前記転送路に移動して蓄積された第１の信号電荷と前記光電変換素子に蓄積された第２の信号電荷とを別々に読み出すステップとを有することを特徴とする撮像方法。
【請求項２】
前記読み出しステップ前に、前記電気的障壁の高さを元に戻すステップを更に有することを特徴とする請求項１記載の撮像方法。
【請求項３】
前記撮像方法は、前記第１及び第２の信号電荷に対応してガンマ補正をするステップを更に有し、
当該ガンマ補正ステップは、前記第１及び第２の信号電荷に対して異なるゲインをかけることを特徴とする請求項１記載の撮像方法。
【請求項４】
前記光電変換素子は色フィルタを有し、
前記ゲインは、前記光電変換素子の前記色フィルタごとに異なることを特徴とする請求項３記載の撮像方法。
【請求項５】
前記第１の信号電荷に所定のオフセットを加えるステップと、
前記第１及び第２の信号を合成するステップとを更に有することを特徴とする請求項１記載の撮像方法。
【請求項６】
前記第１の信号電荷のレベルに応じて前記第２の信号電荷に対して高輝度部分の補正を行うステップを更に有することを特徴とする請求項５記載の撮像方法。
【請求項７】
前記第１の信号電荷に対して垂直方向の積分値が所定の閾値より大きい場合に、前記第２の信号電荷に対応する垂直方向の映像信号を左右の画素の映像信号から補完するステップを更に有することを特徴とする請求項４記載の撮像方法。
【請求項８】
光電変換素子が蓄積した所定の輝度以上の映像に対応する第１の信号電荷を、当該光電変換素子からの信号電荷を転送する転送路に移動させるステップと、
当該転送路から前記第１の信号電荷を読み出すステップと、
前記光電変換素子が蓄積した所定の輝度以下の映像に対応する第２の信号電荷を前記第１の信号電荷とは別に読み出すステップと、
前記第１及び前記第２の信号電荷に対して異なる処理を施すステップとを有することを特徴とする撮像方法。
【請求項９】
２次元配列された複数個の光電変換素子と、前記光電変換素子に隣接して配置され、前記光電変換素子からの信号電荷を転送するための転送路と、前記光電変換素子と前記転送路の間に位置し、前記光電変換素子と前記転送路の間の電気的障壁の高さを任意の電圧を印加することで制御可能なゲート電極を持つ撮像素子と、
映像信号に任意のゲインをかけるゲイン補正部と、
前記撮像素子を駆動する駆動部からなる撮像装置であって、
蓄積期間中、前記駆動部より前記ゲート電極に任意の電圧を加え、前記電変換素子と前記転送路との間の電気的障壁の高さを光電変換素子の他の周囲の障壁より低くすることで前記光電変換素子からあふれた信号電荷を前記転送路に蓄積し、
前記蓄積期間の終了後、前記転送路に蓄積された第１の信号電荷と、前記光電変換素子上に蓄積された第２の信号電荷にそれぞれ異なるゲインをかけて別々に読み出すことを特徴とする撮像装置。
【請求項１０】
読み出された前記第１及び第２の信号電荷を記録するメモリを更に有することを特徴とする請求項９記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、撮像装置に係り、特に、固体撮像素子の画素からの出力信号の読み出し処理に関する。本発明は、例えば、ビデオカメラやデジタルスチルカメラ用の出力信号の読み出し処理に好適である。
【背景技術】
【０００２】
近年のＣＣＤなどの固体撮像装置の光電変換素子（画素セル）の高解像化と装置の小型化の要請が益々高まっている。現在、ＣＣＤの典型例としてのインターライン転送型ＣＣＤは、フォトダイオードと信号電荷の読出し及び転送用の垂直ＣＣＤで構成された画素がマトリクス状に配置し、フォトダイオードの列と垂直ＣＣＤが交互に配置している（例えば、特許文献１を参照のこと。）
【特許文献１】特開２００２−３００４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、小型化・高解像度化を推し進めることにより、フォトダイオードの微小化により画素あたりに蓄積できる総電荷量は減少し、また、垂直ＣＣＤのチャネル幅が狭くなることで最大転送電荷量も減少してしまう。この結果、従来のインターライン転送型ＣＣＤは、小型化・高解像度化にした場合、ダイナミックレンジが低下するという問題があり、特に、高輝度部での諧調の喪失などの問題があった。
【０００４】
そこで、本発明は、小型化及び高解像度化とダイナミックレンジの低下を防止する撮像方法及び装置を提供することを例示的目的とする。
【課題を解決するための手段】
【０００５】
本発明の一側面としての撮像方法は、光電変換素子と、当該光電変換素子に隣接し、当該光電変換素子からの信号電荷を転送する転送路との間の電気的障壁の高さを、前記光電変換素子が信号電荷を蓄積している期間中に下げるステップと、  前記期間中に前記光電変換素子から前記転送路に移動して蓄積された第１の信号電荷と前記光電変換素子に蓄積された第２の信号電荷とを別々に読み出すステップとを有することを特徴とする。
【０００６】
前記読み出しステップ前に、前記電気的障壁の高さを元に戻すステップを更に有してもよい。前記撮像方法は、前記第１及び第２の信号電荷に対応してガンマ補正をするステップを更に有し、当該ガンマ補正ステップは、前記第１及び第２の信号電荷に対して異なるゲインをかけてもよい。前記光電変換素子は色フィルタを有し、前記ゲインは、前記光電変換素子の前記色フィルタごとに異なってもよい。前記第１の信号電荷に所定のオフセットを加えるステップと、前記第１及び第２の信号を合成するステップとを更に有してもよい。前記第１の信号電荷のレベルに応じて前記第２の信号電荷に対して高輝度部分の補正を行うステップを更に有してもよい。前記第１の信号電荷に対して垂直方向の積分値が所定の閾値より大きい場合に、前記第２の信号電荷に対応する垂直方向の映像信号を左右の画素の映像信号から補完するステップを更に有してもよい。
【０００７】
本発明の別の側面としての撮像方法は、光電変換素子が蓄積した所定の輝度以上の映像に対応する第１の信号電荷を、当該光電変換素子からの信号電荷を転送する転送路に移動させるステップと、当該転送路から前記第１の信号電荷を読み出すステップと、前記光電変換素子が蓄積した所定の輝度以下の映像に対応する第２の信号電荷を前記第１の信号電荷とは別に読み出すステップと、前記第１及び前記第２の信号電荷に対して異なる処理を施すステップとを有することを特徴とする。
【０００８】
２次元配列された複数個の光電変換素子と、前記光電変換素子に隣接して配置され、前記光電変換素子からの信号電荷を転送するための転送路と、前記光電変換素子と前記転送路の間に位置し、前記光電変換素子と前記転送路の間の電気的障壁の高さを任意の電圧を印加することで制御可能なゲート電極を持つ撮像素子と、映像信号に任意のゲインをかけるゲイン補正部と、前記撮像素子を駆動する駆動部からなる撮像装置であって、蓄積期間中、前記駆動部より前記ゲート電極に任意の電圧を加え、前記電変換素子と前記転送路との間の電気的障壁の高さを光電変換素子の他の周囲の障壁より低くすることで前記光電変換素子からあふれた信号電荷を前記転送路に蓄積し、前記蓄積期間の終了後、前記転送路に蓄積された第１の信号電荷と、前記光電変換素子上に蓄積された第２の信号電荷にそれぞれ異なるゲインをかけて別々に読み出すことを特徴とする。読み出された前記第１及び第２の信号電荷を記録するメモリを更に有してもよい。
【０００９】
本発明の更なる目的又はその他の特徴は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【００１０】
本発明によれば、小型化及び高解像度化とダイナミックレンジの低下を防止する撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
本実施形態の撮像装置は、２次元配列された複数個の光電変換素子と、これに隣接して配置された転送路を用い、蓄積時に光電変換素子と転送路の間の転送ゲートに対して任意の信号を加えることで光電変換素子からあふれた信号電荷を転送路に蓄積し、蓄積期間終了後、転送路に蓄積された映像信号と、光電変換素子上に蓄積された映像信号をそれぞれ別に読み出す際に、転送路からの映像信号と、光電変換素子からの映像信号に異なるゲインをかけることを特徴としている。
【実施例１】
【００１２】
以下、図１乃至図９を参照して本発明の第１の実施例の撮像装置１００について説明する。ここで、図１は、撮像装置１００の概略ブロック図である。撮像装置１００は、図１に示すように、撮像素子（ＣＣＤ）１１０への光を遮光するためのシャッタ１０２と、被写体映像を撮像素子上に結像するためのレンズ１０４と、光電変換素子としての撮像素子（ＣＣＤ）１１０と、ＣＣＤ出力信号からクロックやノイズを除去するための相関二重サンプリング （Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：ＣＤＳ）部１２２と、アナログ信号をデジタル信号に変換するＡ／Ｄ変換部１２４とを含む信号処理部１２０と、撮像素子駆動のためのタイミングジェネレータ（ＴＧ）１３０と、機器の制御を行うＣＰＵ１４０と、システムバス１４２と、ＲＯＭ１４４と、ＲＡＭ１４６と、映像信号を圧縮符号化する符号化部１４８とを有する。
【００１３】
撮像素子１１０はプログレッシブスキャン可能なＣＣＤであり、図２に、撮像素子１１０の部分的な構造を示す。同図に示すように、撮像素子１１０は、フォトダイオード（ＰＤ）１１２と、垂直ＣＣＤ（ＶＣＣＤ）１１４と、水平ＣＣＤ（ＨＣＣＤ）１１６と、増幅器（ＡＭＰ）１１８とを有する。撮像素子１１０は、１画素のＰＤ１１２につきＶＣＣＤ１１４の電極が３枚隣接する３相駆動構成を有し、この電極に図３に示すような駆動信号φＶ１乃至φＶ３を印加することでＰＤ１１２に蓄積した電荷を、図４に示すように、垂直方向に転送する。ここで、図３は、ＶＣＣＤ１１４に印加される駆動パルス信号の波形図であり、ＨＤはＣＰＵ１４０が生成する水平同期信号である。図４は、ＶＣＣＤ１１４における電荷転送を示す模式図である。図４（ａ）は、例えば、図２における最上列のＶＣＣＤ１１４にＰＤ１１２から電荷が転送された状態を模式的に示している。図４（ｂ）は、最上列のＶＣＣＤ１１４が駆動電圧φＶ１を印加されてその下のＶＣＣＤ１１４に移動する様子を模式的に示している。図４（ｃ）は、次いでそのＶＣＣＤ１１４が駆動電圧φＶ２を印加されて更にその下のＶＣＣＤ１１４に移動する様子を模式的に示している。
【００１４】
ＨＣＣＤ１１６は、図５に示すように、２相駆動となっており、ＶＣＣＤ１１４により転送された電荷を水平方向へ転送し、ＡＭＰ１１８を介して後段処理へ映像信号を送る。ここで、図５は、ＨＣＣＤ１１６に印加される駆動パルス信号の波形図である。
【００１５】
撮像素子１１０を駆動する信号はＴＧ１３０により生成されている。ＴＧ１３０はＣＰＵ１４０にシリアル通信線で接続されており、駆動波形選択などの設定をＣＰＵ１４０からシリアル通信線により設定し、ＣＰＵ１４０の生成する水平同期信号ＨＤ及び垂直同期信号ＶＤに基づいて動作する。
【００１６】
以下、撮影装置１００の動作について説明する。
【００１７】
まず最初に、通常のダイナミックレンジでの撮影方法について説明する。露光前にはＣＰＵ１４０は、撮像素子１１０上の余分な電荷を捨てるための電荷吐き捨て動作のための設定をシリアル通信線を介してＴＧ１３０に対して行い、そのための水平・垂直同期信号をＴＧ１３０へ送る。ＴＧ１３０はＶＣＣＤ１１４に対して連続転送を行う高速吐き捨てモードとなり、１Ｈ期間中に複数回ＶＣＣＤ１１４中の電荷転送を行うことで、転送路に残っている余分な電荷を吐き捨てる。
【００１８】
次に、ＣＰＵ１４０は露光動作設定をＴＧ１３０に対して行い、またシャッタ１０２を開いて露光動作に入る。このときのタイミング関係を図６に示す。ＴＧ１３０はＣＰＵ１４０に設定された露光時間になるように、垂直同期信号ＶＤの開始と同時に電子シャッタＳＵＢを使用して露光開始時間を制御する。ＳＵＢは、ＰＤ１１２の電荷をクリアすることにより露光を制御するパルスとして機能する。電子シャッタＳＵＢ動作終了からＣＣＤ１１０は露光状態に入り、レンズ１０４によりＣＣＤ１１０上に結像された映像に応じて生成された電荷をＰＤ１１２に蓄積する。
【００１９】
露光終了時に、ＣＰＵ１４０は、シャッタ１０２を閉口すると共にＴＧ１３０のためにフレーム読み出しの設定を行って垂直同期信号ＶＤを生成する。ＴＧ１３０は垂直同期信号ＶＤに合わせて露光モードから読み出しモードへ移行し、ＰＤ１１２に蓄積された電荷を順次転送する。垂直同期信号ＶＤの立下りから任意の水平同期信号ＨＤ経過後、ＴＧ１３０はまずＰＤ１１２からＶＣＣＤ１１４への電荷の読み出しを、図７に示すように、読み出しゲートに任意の電圧、ここでは１５Ｖの電圧をかけることで行う。図７は、ＶＣＣＤ１１４における電荷転送を示す模式図である。図７（ａ）は、図２における任意のＰＤ１１２に電荷が蓄積された状態を模式的に示している。図７（ｂ）は、読み出しゲートに所定の電圧が印加されて電荷がＰＤ１１２から隣接する最上部のＶＣＣＤ１１４に転送する様子を模式的に示している。図７（ｃ）は、ＶＣＣＤ１１４に電荷の転送が終了した状態を模式的に示している。
【００２０】
この後、ＴＧ１３０は、ＶＣＣＤ１１４及びＨＣＣＤ１１６を駆動するための図３及び図５に示す転送パルスを生成し、ＰＤ１１２から読み出された信号を同期信号に従って１画素ずつＡＭＰ１１８へ送り、増幅して信号処理部１２０へ送る。
【００２１】
ＣＣＤ１１０から読み出された映像信号は信号処理部１２０によってサンプル・ホールド処理、画像階調の応答特性を最適化するガンマ処理、デジタル変換処理が行われ、アナログ信号からデジタル信号へ変換される。このうちガンマ処理においては、ホワイトバランスによる信号振幅の差を少なくするため、色信号ごとに振幅の異なる変換が行われる。これにより、これ以降の信号は決められたダイナミックレンジを効率良く使う振幅となっている。このようにアナログ信号において振幅調整のためのガンマ処理を受けた後、Ａ／Ｄ変換部１０５によってデジタル変換される。
【００２２】
デジタル信号となった映像信号はＣＰＵ１４０によりＲＡＭ１４６の任意の領域に記録される。以上で映像信号の読み出しが終了する。映像信号の読み出し終了後、ＣＰＵ１４０は映像信号に現像処理を行い、任意の映像信号のフォーマットに従って再度ＲＡＭ１４６の別の記録領域に記録する。この映像信号は次にＣＰＵ１４０により任意の順序で符号化部１４８へ送られ、圧縮符号化処理を受けた後、ＲＡＭ１４６の任意の記録領域に記録される。ＣＰＵ１４０はこの符号化データに対して決められたヘッダー・フッターデータを付し、予め決められた画像フォーマットに従う形式でＲＡＭ１４６に記録する。以上で露光・撮影動作を終了する。
【００２３】
次に、高ダイナミックレンジでの撮影について説明する。このモードでは、ＰＤ１１２とＶＣＣＤ１１４との間の障壁を、露光時間中のみ通常撮影時のエネルギー位置より低くした状態とする。このときのタイミングチャートを図８に、ＰＤ１１２からＶＣＣＤ１１４への転送動作を図９に示す。まず、露光動作前には、通常撮影と同様に、ＣＣＤ１１０上の余分な電荷を捨てるための電荷吐き捨て動作を行う。ＣＰＵ１４０からシリアル通信により電荷吐き捨て動作をＴＧ１３０に対して設定し、以降同期信号に従ってＶＣＣＤ中にある電荷を連続転送する電荷吐き捨て動作を行う。
【００２４】
次に、ＣＰＵ１４０は、露光時の動作設定をＴＧ１３０に対して行い、またシャッタ１０２を開いて露光動作に入る。ＴＧ１３０はＣＰＵ１４０に設定された露光時間になるように、ＶＤの開始と同時に電子シャッタＳＵＢを使用して露光開始時間を制御する。電子シャッタＳＵＢの動作終了と同時に、ＰＤ１１２とＶＣＣＤ１１４の間の転送ゲートには一定電圧を加え、ＰＤ１１２とＶＣＣＤ１１４との間の障壁のエネルギー順位をＰＤ１１２の他の周囲より低くする。また、ＰＤ１１２の読み出し口となるＶＣＣＤ１１４に電荷を蓄積することができるように、一のＰＤ１１２に隣接する３つのＶＣＣＤ１１４のうち１つだけを深いエネルギー順位となるような信号波形をＶＣＣＤ１１４に印加しておく。
【００２５】
この状態のままＣＣＤ１１０は露光状態に入り、レンズ１０４によりＣＣＤ１１０上に結像された映像に応じて生成された電荷をＰＤ１１２に蓄積する。ＰＤ１１２に強い光が当たっていた場合、ＰＤ１１２からあふれた電荷は、ＰＤ１１２の周囲の障壁のなかで最も低くなっているＶＣＣＤ１１４方向へ流れ、隣接する３つのＶＣＣＤ１１４のうちの一のＶＣＣＤ１１４に電荷が蓄積される。この状態を露光終了まで保持する。
【００２６】
露光終了時には、ＣＰＵ１４０は、シャッタ１０２を閉口すると共にＴＧ１３０のためにフレーム読み出しの設定を行って同期信号を生成する。ＴＧ１３０は同期信号に合わせて露光モードから読み出しモードへ移行する。
【００２７】
まず、読み出しモード移行時には、ＰＤ１１２とＶＣＣＤ１１４との間の転送ゲートの障壁を高くして露光前の状態に戻し、ＰＤ１１２からＶＣＣＤ１１４への電荷の流れ出しを抑える。通常撮影の時とは異なり、まずＶＣＣＤ１１４にあふれた信号電荷から転送を行う。この時はＰＤ１１２−ＶＣＣＤ１１４間の転送ゲートへ読み出しパルスは印加せず、ＶＣＣＤ１１４への転送パルスのみ印加する。転送開始前の状態では、一のＰＤ１１２に３つのＶＣＣＤ１１４が隣接するが、そのうちの一のＶＣＣＤ１１４に電荷が蓄積された状態になっている。この状態から転送を開始し、ＨＣＣＤ１１６へ順次ＶＣＣＤ１１４上の電荷を転送する。ＨＣＣＤ１１６には、通常露光動作と同じく、図５に示す２相の転送信号を印加し、ＨＣＣＤ１１６の最後に置かれたＡＭＰ１１８に電荷を転送する。ＡＭＰ１１８は転送された電荷を増幅して信号処理部１２０へ送信する。
【００２８】
ＣＣＤ１１０から読み出された映像信号は、信号処理部１２０によってアナログ信号からデジタル信号に変換される。ＣＤＳ処理後、ＣＤＳ部１２２の内部でガンマ処理が行われるが、ここで入力された信号はＰＤ１１２からあふれた高輝度映像信号であるので、ＰＤ１１２からの出力にかけられるガンマとは異なる、図１０に示すような入力に対して出力がなだらかになったＶＣＣＤ読み出し用ゲインがかけられる。このガンマは画素に対応した色に無関係に一律にかけることも、また信号ダイナミックレンジを有効に使うために画素に対応する色フィルタごとに変えて別々のゲインを設定することも、信号処理部１２０へ設定することにより対応可能である。
【００２９】
この後、Ａ／Ｄ処理部１２４においても、ＰＤ１１２からの出力とは異なり、ＣＣＤ１１０の遮光された画素の出力で黒レベルに対応したオプティカルブラック（ＯＢ）部分の出力を基準にしたクランプではなく、ＯＢに隣接したＶＣＣＤ１１４の暗電流をクランプの基準としてＡ／Ｄ変換を行う。Ａ／Ｄ変換処理後、デジタル信号となった映像信号は、ＣＰＵ１４０の制御によりＲＡＭ１４６の任意の領域へ記録される。
【００３０】
次に、ＰＤ１１２に蓄積された信号電荷の転送を行う。この動作は通常露光動作と同じである。まずＰＤ１１２に隣接する読み出しゲートへ読み出しパルスを印加し、ＰＤ１１２の電荷をＶＣＣＤ１１４へ転送する。ＰＤ１１２から読み出された信号電荷は、ＶＣＣＤ１１４及びＨＣＣＤ１１６により転送され、センサ最終段のＡＭＰ１１８により増幅された後信号処理部１２０へ送られる。ＣＣＤ１１０から読み出された映像信号は、信号処理部１２０により、デジタル信号へ変換される。ここでの変換処理では、先のＶＣＣＤ蓄積信号とは異なり、ＣＤＳ処理後の信号に対して、まずゲイン処理部分では、先に高輝度部分のガンマ処理は行われているので、これに対応する形のガンマ処理が行われる。先のガンマ処理が色フィルタごとに設定されていれば、ここでのガンマ処理もまた色フィルタごとにゲインを変えて処理される。また、ここで出力される映像信号は高輝度部分を除いた映像信号であるので、このレベルに対応したガンマが用いられる。
【００３１】
次のＡ／Ｄ変換部１２４では、ＰＤ１１２のＯＢ部分に相当する映像信号を黒レベルとしてＡ／Ｄ変換が行われ、デジタル信号へ変換される。デジタルデータとなった映像信号はＣＰＵ１４０の制御により、先の高輝度部分の映像信号を記録した部分とは別のＲＡＭ１４６の任意の領域に記録される。
【００３２】
高輝度信号と通常信号の２つの映像信号の記録が終了すると、次に、ＣＰＵ１４０はこれらのデータから一つの映像信号データを作成する処理を行う。まずＰＤ１１２からＶＣＣＤ１１４へあふれた、高輝度部分の映像信号に対して、ＰＤ蓄積信号との信号レベルの比較と、ＶＣＣＤ１１４ごとの垂直方向へ映像信号を積分した値を生成する。
【００３３】
まず高輝度信号とＰＤ信号とを比較した結果から、信号レベルとしての連続性をチェックし、連続性が認められた部分に対しては高レベル部分の映像信号としてオフセットを乗せてＰＤの映像信号に加算する。また連続性が認められない部分に対しては、スミア等の影響によるものとして信号自体は採用せず、垂直方向への積分値をチェックし、ＰＤ部分の信号に高輝度画素からの影響がないかを判定し、影響がない場合はＰＤの映像信号のみを採用、影響があると認められた場合は該当するＰＤ１１２の左右画素からの補完処理を行い、高輝度映像をできるだけ再現する形で映像信号の変換を行う。通常輝度部分と高輝度部分の合成処理が終了後、ＣＰＵ１４０はこの信号に対して現像処理を行い、任意の映像信号フォーマットに従って変換された映像信号を再度ＲＡＭ１４６上の別の領域に記録する。この映像信号は次にＣＰＵ１４０により任意の順序で符号化部１４８へ送られ、圧縮符号化処理を受けた後、ＲＡＭ１４６上の任意の記録領域に記録される。ＣＰＵ１４０はこの符号化データに対して決められたヘッダー、フッターデータを付け、あらかじめ決められた画像フォーマットにのっとった形式でＲＡＭ１４６上に記録する。以上で露光・撮影動作を終了する。
【００３４】
以上述べてきたように、本実施例では、ＰＤ１１２からあふれた映像信号を、露光時に転送ゲートを任意のレベルに固定することで垂直ＣＣＤ１１４に蓄積し、これを後段の信号処理に用いることで、高輝度映像に対する再現性を向上させ、高ダイナミックレンジの映像を撮影することを可能としている。
【実施例２】
【００３５】
以下、図１１乃至図１５を参照して本発明の第２の実施例の撮像装置２００について説明する。ここで、図１１は、撮像装置２００の概略ブロック図である。撮像装置２００は、図１１に示すように、撮像素子２１０への光を遮光するためのシャッタ２０２と、被写体映像を撮像素子上に結像するためのレンズ２０４と、光電変換素子としての撮像素子（ＣＭＯＳセンサ）２１０と、アナログアンプ２２６と、アナログ信号をデジタル信号に変換するＡ／Ｄ変換部２２８と、撮像素子駆動のためのタイミングジェネレータ（ＴＧ）２３０と、機器の制御を行うＣＰＵ２４０と、システムバス２４２と、ＲＯＭ２４４と、ＲＡＭ２４６と、映像信号を圧縮符号化する符号化部２４８とを有する。
【００３６】
撮像素子２１０はＣＭＯＳセンサであり、この撮像素子２１０のＰＤ部分の構造を図１２に示す。撮像素子２１０は、１画素のＰＤにつきフォトゲート（ＰＧ）２１１、ＰＤ２１２、転送ゲート（ＴＸ）２１３、リセットゲート（ＲＸ）２１４、フローティングディフュージョン（ＦＤ）２１５、ＶＤＤ２１６、列アドレス選択ゲート（ＲＯＷ）２１７、行アドレス選択回路２１８、サンプル・ホールド回路２１９、ゲイン補正回路２２０を有し、この電極に駆動信号を印加することで、ＰＤ２１２に蓄積した電荷を読み出し、撮像素子２１０内部の後段サンプル・ホールド回路２１９に映像信号を送ることで、ＰＤ２１２に蓄積された電荷を１画素ごとに出力する。
【００３７】
ＣＭＯＳセンサ２１０を駆動する信号はＴＧ２３０により生成されている。ＴＧ１３０はＣＰＵ２４０にシリアル通信線で接続されており、駆動波形選択などの設定をＣＰＵ２４０からシリアル通信線により設定し、ＣＰＵ２４０の生成する水平・垂直同期信号に基づいて動作する。
【００３８】
以下、撮影装置２００の動作について説明する。
【００３９】
まず最初に、通常のダイナミックレンジでの画像撮影について説明する。図１３に撮影シーケンスを示す。露光前にはＣＭＯＳセンサ２１０に電荷吐き捨て動作をさせるため、ＣＰＵ２４０はＴＧ２３０に対してシリアル通信により駆動信号を生成するための設定を行う。電荷吐き捨て時の動作波形を図１４（ａ）に示す。まずＴＧ２３０からＰＤ２１２とＦＤ２１５の間の転送ゲートＴＸ２１３とフォトゲートＰＧ２１１へパルスが加えられ、ＰＤ２１２に存在している電荷がＦＤ２１５へ送られる（図１４（ｂ）参照）。転送後、転送ゲートＴＸ２１３は閉じられる（図１４（ｃ）参照）。次に、ＴＧ２３０からはＦＤ２１５に隣接するリセットゲートＲＸ２１４に対してパルスを加え、ＦＤ２１５中の電荷を吐き出し、ＦＤ２１５の電位をリセットレベルにする（図１４（ｄ）参照）。この動作をＣＭＯＳセンサ２１０上の全てのＰＤ２１２及びＦＤ２１５に対して行い、電荷の吐き出しを行う。この後、リセット電位になっているＦＤ２１５に対して読み出し動作を行い、サンプル・ホールド回路２１９に対してもリセット電位での動作を行わせる。
【００４０】
電荷吐き出し動作後、ＣＰＵ２４０はシャッタ２０２を開き、ＣＭＯＳセンサ２１０は露光状態となり、レンズ２０４によりＣＭＯＳセンサ２１０上に結像された映像に応じて光電変換により生成された電荷をＰＤ２１２に蓄積する。
【００４１】
露光終了時にはＣＰＵ２４０はシャッタ２０２を閉じ、ＴＧ２３０へ読み出しの設定を行い、読み出し用の同期信号ＶＤを生成する。ＴＧ２３０では同期信号に基づき、露光モードから読み出しモードへ移行し、ＰＤ２１２に蓄積された電荷を順次転送する。
【００４２】
垂直同期信号ＶＤの立下りから任意の水平同期信号ＨＤ経過後、ＴＧ２３０はまずＦＤ２１５に隣接するリセットゲートＲＸ２１４にパルスを加え、ＦＤ２１５の電位をリセット電位にする。リセットゲートＲＸ２１４を閉じた後、転送ゲートＴＸ２１３へパルスを印加し、ＰＤ２１２に蓄積された電荷をＦＤ２１５へ転送する。ＦＤ２１５に転送された電荷は、その後の同期信号に従って列アドレス選択ゲート２１７と行アドレス選択回路２１８が順次行と列を選択するようにゲートへ信号が印加されることで読み出され、サンプル・ホールド回路２１９によりレベル整形、ゲイン補正回路２２０によりゲイン補正がかけられた後に撮像素子２１０から出力される。ここでのゲイン設定は、ＴＧ２３０からの制御信号により決定される。画素ごとにゲイン設定が違う場合には、ＴＧ２３０が画素ごとに制御信号を変化させ、それに応じてゲイン補正回路２２０内部のゲイン設定が変化する。
【００４３】
色フィルタによる振幅の差を少なくし、決められた信号ダイナミックレンジを有効に利用する。ＣＭＯＳセンサ２１０から読み出された映像信号は、Ａ／Ｄ変換器２２８によってデジタル信号へ変換され、後段ＣＰＵ２４０へ送られる。デジタル信号となった映像信号はＣＰＵ２４０によりＲＡＭ２１０の任意の領域へ記録される。全ての画素の信号を記録した時点で、ＣＰＵ２４０はＲＡＭ２１０に記録された映像信号に対して現像処理を行い、任意の映像信号のフォーマットに従って再度ＲＡＭ２１０の別の記録領域に記録する。この映像信号は次にＣＰＵ２４０により任意の順序で符号化部２１１へ送られ、圧縮符号化処理を受けた後、ＲＡＭ２１０の任意の記録領域に記録される。ＣＰＵ２４０はこの符号化データに対して決められたヘッダー・フッターデータを付け、あらかじめ決められた画像フォーマットにのっとった形式でＲＡＭ２１０に記録する。以上で露光・撮影動作を終了する。
【００４４】
次に、高ダイナミックレンジでの撮影について説明する。このモードでは、ＰＤとＦＤの間の転送ゲートを、露光時間中のみ通常撮影時のエネルギー順位より低くした状態とする。このときのシーケンスを図１５（ａ）に示す。まず、露光動作前には、通常撮影と同様に、ＣＭＯＳセンサ２１０上の余分な電荷を捨てるための電荷吐き捨て動作を行う。ＣＰＵ２４０はシリアル通信線によりＴＧ２３０へ電荷吐き捨て動作を設定し、以降同期信号に従ってＴＧ２３０を動作させる。電荷吐き捨て動作自体についても、通常露光動作と同様で、まずＰＤ２１２とＦＤ２１５の間の転送ゲートＴＸ２１３を開き、ＰＤ２１２中の余分な電荷をＦＤ２１５へ転送する。転送ゲートＴＸ２１３を閉じた後、ＦＤ２１５に隣接するリセットゲートＲＸ２１４を開くことで、ＦＤ２１５の電位をリセット電位にする。この状態でＣＭＯＳセンサ２１０上の列及び行アドレスを操作して順次読み出し動作を行い、サンプル・ホールド回路２１４に対してもリセット電位での動作を行わせる。電荷吐き出し動作後、ＣＰＵ２４０は露光時の動作設定をＴＧ２３０に対して行い、またシャッタ２０１を開いて露光動作に入る。
【００４５】
露光動作開始時、ＴＧ２３０はＣＰＵ２４０からの垂直同期信号ＶＤが入力されると同時に、ＰＤ２１２とＦＤ２１４の間の転送ゲートＴＸ２１３に対して一定電圧を加え、ＰＤ２１２とＦＤ２１４の間にある障壁のエネルギー順位をＰＤ２１２の他の周囲より低くする。これにより、露光中、レンズ２０２によりＣＭＯＳセンサ２１０上に結像された映像に応じて生成される電荷はＰＤ２１２に蓄積されるが、ＰＤ２１２に強い光が当たっている場合、ＰＤ２１２からあふれた電荷は最も障壁が低くなっているＦＤ２１４に流れ込み、そこで蓄積される（図１５（ｂ）参照）。この状態を露光終了まで保持する。
【００４６】
露光終了時には、ＣＰＵ２４０はシャッタ２０２を閉じると同時にＴＧ２３０へ垂直同期信号を送る。ＴＧ２３０は垂直同期信号を受けると、ＰＤ２１２とＦＤ２１５の間の転送ゲートＴＸ２１３への信号の印加を止め、これにより露光中低くなっていたＰＤ２１２とＦＤ２１５の間の障壁は元に戻り、ＰＤ２１２からＦＤ２１５への電荷の流れ込みは抑えられる。
【００４７】
次に、ＣＰＵ２４０は再度ＴＧ２３０へシリアル通信を行い、読み出しモードへ移行する。高ダイナミックレンジ撮影では、まずＦＤ２１５に蓄積された電荷の読み出しを最初に行い、次にＰＤ２１２に蓄積された電荷を読み出す。まずＦＤ２１５に蓄積された電荷の読み出しでは、ＣＰＵ２４０から同期信号がＴＧ２３０に送られ、ＴＧ２３０では垂直同期信号の後、任意の水平期間経過後、ＣＭＯＳセンサ２１０の列及び行アドレスを操作して蓄積された電荷を順次読み出す（図１５（ｃ）参照）。
【００４８】
ＦＤから読み出された信号は後段のサンプル・ホールド回路２１９、ゲイン補正回路２２０を通過して整形された後にＣＭＯＳセンサ２１０から出力される。サンプル・ホールド回路２１９では、ＯＢ部分に隣接したＦＤからの出力を基準レベルとしてサンプリングされる。また、ゲイン補正回路２２０では、ゲインが画素の色フィルタごとに設定されている場合は、ＴＧ２３０から色フィルタに対応した制御線がＣＭＯＳセンサ２１０に対して出力され、これによりゲイン補正回路２２０があらかじめ決められた複数のゲイン係数を切り替えることで、色フィルタごとのゲインを変える。ここで読み出される信号はＰＤ２１２からあふれた高輝度信号であるので、通常読み出し時とは異なる係数がセットされている。この係数は色信号に無関係にかけることもまた可能である。
【００４９】
ＣＭＯＳセンサ２１０から出力された映像信号はＡ／Ｄ変換器２２８に入力され、ＴＧ２３０から送られる画素の出力に同期したＣＬＫにしたがってデジタル信号に変換される。Ａ／Ｄ変換処理後、デジタル信号となった映像信号はＣＰＵ２４０の制御によりＲＡＭ２１０の任意の領域へ記録される。全ての画素の読み出し終了後、ＣＰＵ２４０はＴＧ２３０に対して垂直同期信号を送り、読み出し動作を終了する。
【００５０】
次に、ＰＤ２１２に蓄積された信号電荷の転送を行う。先のＦＤ２１５から読み出し終了後、ＣＰＵ２４０はＴＧ２３０に対して再度シリアル通信を行い、読み出し状態を設定し、その後垂直同期信号をＴＧ２３０に対して出力する。ＴＧ２３０に対して垂直同期信号が入力されると、まずＴＧ２３０はＦＤに隣接するリセットゲートに対して信号を印加し、ＦＤ２１５内部にたまった高輝度信号による電位をリセットレベルにクリアする（図１５（ｄ）参照）。次に任意の水平同期信号期間経過後、ＴＧ２３０はＰＤ２１２とＦＤ２１５の間の転送ゲートＴＸ２１３に対して信号を印加し、ＰＤ２１２に蓄積された電荷をＦＤ２１５に転送する。ＦＤ２１５に転送された信号は、先の高輝度映像信号読み出しと同様、列及び行を選択し、１画素ずつ信号電荷に対してサンプル・ホールド処理、ゲイン補正処理を行ってＣＭＯＳセンサ２１０から出力する。
【００５１】
ＣＭＯＳセンサ２１０から出力された映像信号は、Ａ／Ｄ変換器２２８により順次デジタル信号に変換され、ＣＰＵ２４０の制御によりＲＡＭ２１０の、先ほどの高輝度部分の信号が記録された領域とは別の領域に記録される。
【００５２】
高輝度信号と通常信号の２つの映像信号の記録が終了すると、次にＣＰＵ２４０はこれらのデータからひとつの映像信号データを作成する処理を行う。まずＰＤ２１２からＦＤ２１５へあふれた、高輝度部分の映像信号に対して、同一位置のＰＤ蓄積信号と比較することで信号レベルとしての連続性をチェックし、連続性が認められた部分に対しては高レベル部分の映像信号としてオフセットを乗せてＰＤの映像信号に加算し、また連続性が認められない部分に対しては、スミア等の影響によるものとして信号自体は採用せず、ＰＤ部分の信号に高輝度画素からの影響がないかを判定し、影響がない場合はＰＤ２１２の映像信号のみを採用、影響があると認められた場合は該当するＰＤ２１２の左右画素からの補完処理を行い、高輝度映像をできるだけ再現する形で映像信号の変換を行う。
【００５３】
通常輝度部分と高輝度部分の合成処理が終了後、ＣＰＵ２４０はこの信号に対して現像処理を行い、任意の映像信号フォーマットに従って変換された映像信号を再度ＲＡＭ２１０の別の領域に記録する。この映像信号は次にＣＰＵ２４０により任意の順序で符号化部２１１へ送られ、圧縮符号化処理を受けた後、ＲＡＭ２１０の任意の記録領域に記録される。ＣＰＵ２４０はこの符号化データに対して決められたヘッダー、フッターデータを付け、予め決められた画像フォーマットに従った形式でＲＡＭ２１０に記録する。以上で露光・撮影動作を終了する。
【００５４】
以上述べてきたように、本実施例では、ＰＤ２１２からあふれた映像信号を、露光時に転送ゲートを任意のレベルに固定することでフローティングディフュージョンに貯め、これを後段の信号処理に用いることで、高輝度映像に対する再現性を向上させ、高ダイナミックレンジの映像を撮影することを可能としている。
【００５５】
以上述べてきたように、本発明によれば、フォトダイオードの大きさ、垂直ＣＣＤのチャネル幅を現行のままで最大転送電荷量を増大させ、特に、高輝度部に対する補正を行う撮像方法及び装置を提供することができる。これによって、高輝度部分を含む映像の撮影において、入力される映像信号のダイナミックレンジを広くとることができ、撮影画像の画質を向上することができる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変更及び変形が可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施例の撮像装置の全体構成を示す概略ブロック図である。
【図２】図１に示す撮像装置の撮像素子の構成を示すブロック図である。
【図３】図２に示す垂直ＣＣＤに印加される駆動パルス信号の波形図である。
【図４】図２に示す垂直ＣＣＤにおける電荷転送を示す模式図である。
【図５】図２に示す水平ＣＣＤに印加される駆動パルス信号の波形図である。
【図６】図１に示す撮像装置の通常撮影動作を説明するためのタイミングチャートである。
【図７】図２におけるフォトダイオードから垂直ＣＣＤへの電荷転送を示す模式図である。
【図８】図１に示す撮像装置の高ダイナミック撮影動作を説明するためのタイミングチャートである。
【図９】図１に示す撮像装置の高ダイナミック撮影動作を説明するための模式図である。
【図１０】図１における撮像装置の信号処理部内部のガンマカーブを示すグラフである。
【図１１】本発明の第２の実施例の撮像装置の全体構成を示す概略ブロック図である。
【図１２】図１１に示す撮像装置の撮像素子の構成を示すブロック図である。
【図１３】図１２に示す撮像装置の通常撮影動作を説明するためのタイミングチャートである。
【図１４】図１２に示す撮像素子の電荷吐き出し時の動作を説明するためのタイミングチャート及び模式図である。
【図１５】図１２に示す撮像装置の高ダイナミック撮影動作を説明するためのタイミングチャート及び模式図である。
【符号の説明】
【００５８】
１０２、２０２            シャッタ
１０４、２０４            レンズ
１１０、２１０            撮像素子
１１２、２１１          フォトダイオード
１１４                  垂直ＣＣＤ
１１６                  水平ＣＣＤ
１１８、２２６          アンプ
１２０                  信号処理部
１２２                  ＣＤＳ部
１２４、２２８          Ａ／Ｄ変換部
１３０、２３０          タイミングジェネレータ（ＴＧ）
１４０、２４０          ＣＰＵ
２１１                  フォトゲート
２１３                  転送ゲート
２１４                  リセットゲート
２１５                  フローティングディフュージョン
２１７                  列アドレス選択ゲート
２１８                  行アドレス選択回路
２１８                  コラムアドレス選択回路
２１９                  サンプル・ホールド回路
２２０                  ゲイン補正回路
【図８】
2005167832.tif 000003
【図１】
2005167832.tif 000004
【図２】
2005167832.tif 000005
【図３】
2005167832.tif 000006
【図４】
2005167832.tif 000007
【図５】
2005167832.tif 000008
【図６】
2005167832.tif 000009
【図７】
2005167832.tif 000010
【図９】
2005167832.tif 000011
【図１０】
2005167832.tif 000012
【図１１】
2005167832.tif 000013
【図１２】
2005167832.tif 000014
【図１３】
2005167832.tif 000015
【図１４】
2005167832.tif 000016
【図１５】
2005167832.tif 000017