(57)【要約】【課題】本発明の解決しようとする課題は、撮像素子が固有に持つダイナミックレンジ以上の輝度分布を有する被写体の輝度分布を的確に表現する撮影画像を生成する撮像装置を提供することである。【解決手段】上記課題を解決するために本発明の撮像装置は、撮像素子から露光時間の長い長時間露光撮像信号と露光時間の短い短時間露光撮像信号とを読み出すように撮像素子を駆動する駆動手段と、長時間露光撮像信号の低輝度部分の信号と短時間露光撮像信号の高輝度部分の信号とを合成し信号処理して１つの画像信号を生成する信号処理手段とを備えることを特徴とする。【選択図】　図１
2004064165.tif 000002
【特許請求の範囲】
【請求項１】
入射光を光電変換し電荷を蓄積する格子状に並べられたフォトダイオードを有する撮像素子と、
該フォトダイオードの該電荷の読み出しタイミングをラインに応じて異ならせて露光時間の異なる２つ以上の撮像信号を読み出すように該撮像素子を駆動する駆動手段と、
該露光時間の異なる２つ以上の撮像信号を合成し信号処理して１つの画像信号を生成する信号処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記駆動手段は、前記フォトダイオードの奇数ラインと偶数ラインとで読み出しタイミングを異ならせ、露光時間の異なる２つの撮像信号を読み出すように前記撮像素子を駆動すること、
を特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記駆動手段は、前記撮像素子から露光時間の長い長時間露光撮像信号と露光時間の短い短時間露光撮像信号とを読み出すように前記撮像素子を駆動し、
前記信号処理手段は、該長時間露光撮像信号の低輝度部分の信号と該短時間露光撮像信号の高輝度部分の信号とを合成し信号処理して１つの画像信号を生成すること、
を特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記駆動手段は、１フィールド期間内に前記露光時間の異なる２つ以上の撮像信号を読み出すように前記撮像素子を駆動すること、
を特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記撮像素子は、前記フォトダイオードから読み出した電荷を垂直方向に転送する垂直ＣＣＤ手段と、該垂直ＣＣＤ手段で転送された電荷を水平方向に転送する、２ライン分の水平ＣＣＤ手段と、を備え、
前記駆動手段は、該２ライン分の水平ＣＣＤ手段の各ラインから、露光時間の異なる２つの撮像信号を読み出すように前記撮像素子を駆動すること、
を特徴とする撮像装置。
【請求項６】
請求項２において、
前記信号処理手段は、前記奇数ラインと前記偶数ラインとを合成するに際し、前記奇数ラインと前記偶数ラインとの座標のズレを補正すること、
を特徴とする撮像装置。
【請求項７】
撮像素子の奇数ライン（又は偶数ライン）から露光時間の長い長時間露光撮像信号を読み出すステップと、
撮像素子の偶数ライン（又は奇数ライン）から露光時間の短い短時間露光撮像信号を読み出すステップと、
該長時間露光撮像信号の低輝度部分の信号と該短時間露光撮像信号の高輝度部分の信号とを合成し信号処理して１つの画像信号を生成するステップと、
を備える撮像方法。
【請求項８】
光を電気的エネルギーに変換する撮像素子手段と、該撮像素子を駆動する撮像素子駆動手段と、該撮像素子手段から読み出される撮像信号をサンプリングしてディジタル撮像信号に変換するＡ／Ｄ変換手段と、該ディジタル撮像信号から色と輝度の情報を抽出し、ディジタル画像信号を生成するディジタル信号処理手段を備える撮像装置であって、
該撮像素子手段は、その垂直方向の有効画素数を少なくとも該撮像装置が出力するディジタル画像信号の有効ライン数の２倍以上とする共に、垂直方向で露光時間を変え、
該ディジタル信号処理手段は、該撮像素子手段から読み出される撮像信号を同一の露光時間で得られた撮像信号ごとに振り分け、少なくとも２枚以上のディジタル画像示すディジタル画像信号を生成すると共に、該ディジタル画像信号を加算することを特徴とする撮像装置。
【請求項９】
請求項８記載の撮像装置であって、該撮像素子手段は光を電気的エネルギーに変換して電荷として蓄積するフォトダイオード手段と、格子状に並べられた該フォトダイオード手段から読み出した電荷を垂直方向に転送する垂直ＣＣＤ手段と、該垂直ＣＣＤ手段から転送される電荷を水平方向に転送する水平ＣＣＤ手段と、該水平ＣＣＤ手段から転送されてくる電荷の移動で発生する電流変化を電圧変化に変換する出力アンプ手段で構成されるＣＣＤ撮像素子手段であることを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置であって、該ＣＣＤ撮像素子手段は垂直方向の画素数を該ディジタル信号処理手段が生成するディジタル画像信号における垂直方向の画素数の４倍以上、且つ垂直方向に連続する４ラインのフォトダイオードから垂直ＣＣＤへ蓄積電荷を読出すタイミングを各々独立にコントロールする構成とし、該２枚以上のディジタル画像示すディジタル画像信号は、該ＣＣＤ撮像素子駆動手段が該ＣＣＤ撮像素子手段の電荷の蓄積時間が２ラインごとに切り替わるようにフォトダイオードから垂直ＣＣＤへ電荷の読出したのち、蓄積時間が同一になる画素の蓄積電荷を画素混合した撮像信号を読み出すことで、ラインごとに露光時間の異なる撮像信号を得て、該撮像信号を同一の露光時間を持つライン毎に分離して、個別に色情報と輝度情報を示すディジタル画像信号を生成することを特徴とする撮像装置。
【請求項１１】
請求項８乃至１０のいずれかに記載の撮像装置であって、生成される広ダイナミックレンジのディジタル画像信号は、ＣＣＤ撮像素子上における該２枚のディジタル画像座標のずれを補正する信号補間を行って新た生成した補間信号を加算したものであることを特徴とする撮像装置。
【請求項１２】
請求項８乃至１１のいずれかに記載の撮像装置であって、使用するＣＣＤ撮像素子に水平ＣＣＤを２ライン分設け、１度の水平転送期間で露光時間の長い撮像信号と露光時間の短い撮像信号の２つの撮像信号を同時に獲得し、さらに、輝度情報と色差情報を示すディジタル画像信号を生成するディジタル信号処理手段を２系統設け、該２つの撮像信号を並列に処理をしたのちに、２つの画像信号を加算することで、露光時間の異なる２つのディジタル画像信号を重ね合わせた新たなディジタル画像信号を生成することを特徴とする撮像装置。
【請求項１３】
請求項８に記載の撮像装置であって、該撮像素子手段は、該撮像素子手段は光を電気的エネルギーに変換して電荷として蓄積するフォトダイオード手段と、格子状に並べられた該フォトダイオードに付随して設けられ該フォトダイオードから読み出した電荷を一時的に蓄積する電荷一時蓄積手段と、該電荷一次蓄積手段と出力アンプの間に設けられた電荷読出しゲートと、該電荷読出しゲートの開閉及び該電荷読出しゲートへの電荷の読出しタイミングを制御するゲート駆動手段から構成されるＣ−ＭＯＳ撮像素子手段とし、該電荷読出しゲートへの電荷の読出しタイミングを垂直方向で切り替えることで露光時間の異なる２枚の以上の画像を生成して加算することを特徴とする撮像装置。
【請求項１４】
光を電気的エネルギーに変換する撮像素子手段と、該撮像素子を駆動する撮像素子駆動手段と、該撮像素子から読み出される撮像信号をディジタル撮像信号に変換するＡ／Ｄ変換手段と、１フィールド分の該ディジタル撮像信号を記憶するフィールドメモリ手段と、該ディジタル撮像信号から色と輝度の情報を抽出し、ディジタル画像信号を生成するディジタル信号処理手段で構成される撮像装置であって、
該撮像素子手段は、少なくとも垂直方向の有効画素数を該撮像装置が出力するディジタル画像信号の有効ライン数の２倍以上とする共に、該撮像素子手段の露光時間を垂直方向で切り替えることで、１フィールド未満の露光期間の撮像と１フィールド以上の露光期間の撮像を並行して行ない、該ディジタル信号処理手段において、該撮像素子手段から読み出される撮像信号を同一の露光時間で得られた撮像信号ごとに振り分けて、少なくとも２枚以上のディジタル画像示すディジタル画像信号を生成し、該ディジタル画像のうち１フィールド以上の露光期間で得られたディジタル画像を該フィールドメモリに格納することで、１フィールド未満の露光期間の画像信号と１フィールド以上の露光期間の画像信号を用意してそれらを加算することを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ撮像素子などの撮像素子を用いた動画像撮像装置に関するものであって、特に撮像素子が本来持つ感度以上の広いダイナミックレンジを持った動画像を撮像する技術に関するものである。
【０００２】
【従来の技術】
ＣＣＤ撮像素子等の撮像素子を用いた撮像装置で被写体の撮影をおこなう場合には、被写体の明るさを撮像信号から測定して被写体の信号レベルが適切になるように撮像素子の露光時間の調整して撮像素子の動作点を最適化していた。
【０００３】
【発明が解決しようとする課題】
上記の撮像装置において撮像素子の動作点を最適化する技術を用いる場合、撮像対象となる被写体の輝度の分布が広範囲に及ぶとき、次のような問題が生ずる。
【０００４】
例えば、被写体の高輝度部分の信号レベルが適切になるように露光時間を合わせると、低輝度部分の信号がつぶれてしまうので、低輝度部分の解像度が出にくくなる。また、これとは逆に、低輝度部分の信号レベルが適切になるように露光時間を合わせると、高輝度部分の信号が飽和状態になり、その部分の画像は白一色の状態になってしまう結果、被写体の判別がつかなくなってしまう。
【０００５】
そこで、本発明の解決しようとする課題は、対象となる被写体の輝度分布が広範に及ぶ場合でも、被写体の像を忠実に再現する画像を生成することが可能な広ダイナミックレンジの撮像装置を提供することである。
【０００６】
【課題を解決するための手段】
上記課題を解決するために本発明の撮像装置は、撮像素子から露光時間の長い長時間露光撮像信号と露光時間の短い短時間露光撮像信号とを読み出すように撮像素子を駆動する駆動手段と、長時間露光撮像信号の低輝度部分の信号と短時間露光撮像信号の高輝度部分の信号とを合成し信号処理して１つの画像信号を生成する信号処理手段とを備えることを特徴とする。
【０００７】
【発明の実施の形態】
図１は本発明の実施の形態である撮像装置の一例を示すブロック図である。
図１において、１１はＣＣＤ撮像素子手段、１２はＣＤＳ（相関２重サンプリング）・Ａ／Ｄ変換手段、１３はＲＧＢ処理手段、１４は第２のＣＤＳ・Ａ／Ｄ変換手段、１５は第２のＲＧＢ処理手段、１６はＹ／Ｃ処理・混合手段、１７は画像信号記録手段、１８は表示系信号処理手段、１０はタイミング発生手段を示している。
【０００８】
以下、図１及びそれを補足する幾つかの図を用いて本実施の形態について説明する。
【０００９】
図２は本発明に適用するＣＣＤ撮像素子手段１１の一例を示す構造モデル図である。図２において、２１は画素を示しており、光を電気的エネルギーに変換する役割を果たす。ＣＣＤ撮像素子手段では、画素２１として一般的にフォトダイオードが用いられる。
【００１０】
従来の動画撮影を行なう撮像装置の垂直方向の画素数は、例えば、ＮＴＳＣフォーマットでは垂直方向の有効ライン数である２４０の約２倍となる５００画素程度とするのが一般的である。これに対して、本実施の形態では垂直方向の有効画素数を有効ライン数である２４０の４倍以上として９６０画素とする。
２２は画素２１に蓄積された電荷を２３で示される垂直ＣＣＤに転送を行なうゲートを示している。一般的に該ゲートの駆動パルスは垂直ＣＣＤ２３の駆動パルスと共有化されている。
【００１１】
２３は垂直ＣＣＤを示しており、垂直ＣＣＤ２３は４位相のゲートパルスで駆動される。該ゲートパルスの電位レベル（ポテンシャル）はハイレベル、ミドルレベル、ローレベルの３値をとる。ハイレベルはＶ１、Ｖ３、Ｖ１’、Ｖ３’によって駆動される垂直ＣＣＤ２３にのみ供給され、ゲートパルスがハイレベルの時に画素２１から該垂直ＣＣＤに電荷の転送が行われる。垂直ＣＣＤ２３内での電荷の転送はミドルレベル、ローレベルの４相の２値パルスをＶ１、Ｖ２、Ｖ３、Ｖ４、Ｖ１’、Ｖ３’のゲートに供給することで行われる。
【００１２】
２４及び２７は第１及び第２の水平ＣＣＤを示しており、何れも２相のゲートパルスで駆動され、各々の水平ＣＣＤ内で蓄積電荷を水平方向へ転送する。また、第１の水平ＣＣＤ２４と第２の水平ＣＣＤ２７の間における電荷の転送は、垂直ＣＣＤ２３との結合を有する図中ＨａからＨｃの方向にのみ転送ゲート２０が存在し、図中ＨａからＨｃの方向にのみ転送が可能である。垂直ＣＣＤ２３との結合有しない図中ＨｂからＨｄの方向には、ポテンシャルの壁が存在し転送が不可能な状態になっている。
【００１３】
また、２５及び２８は第１及び第２の出力アンプ、２６及び２９は第１及び第２の出力端子を示している。
【００１４】
なお、該垂直ＣＣＤは１画素につき２ゲートの構成となっており、１回のフィールド周期の期間で垂直方向９６０画素全ての電荷の読出しを行なう場合は、垂直方向２画素毎の蓄積電荷を足し合せて転送することになる。
また、図中で各画素の示す囲みの中に示された、Ｒ、Ｇ、Ｂのアルファベットは画素に施された色フィルタの色を示しており、Ｒは赤、Ｇは緑、Ｂは青のフィルタであることを示している。
【００１５】
該ＣＣＤ撮像素子手段１１の特徴は、従来の一般的なＣＣＤ撮像素子手段は水平方向に転送を行なう水平ＣＣＤが１系統であったのに対して、水平ＣＣＤを２系統にしたことである。水平ＣＣを２系統にすることの利点は、水平転送動作のフェイズで一度に２ライン分の信号読出しを行なうことが可能なことである。
また、該撮像素子手段１１の駆動方法は、従来の一般的なインターライン型のＣＣＤ撮像素子手段とほぼ同様であるが、以下その駆動方法について説明する。
【００１６】
まず、信号のブランキング期間中に画素２１から垂直ＣＣＤ２３に蓄積電荷を読出す。該垂直ＣＣＤに読みだされた該蓄積電荷は垂直ＣＣＤ内で２ライン分ずつ加算されたのちに第１の水平ＣＣＤ２４に転送される。第１の水平ＣＣＤ２４に最初に転送された蓄積電荷はすぐさま第２の水平ＣＣＤ２７に転送され、その後、第１の水平ＣＣＤ２４と第２の水平ＣＣＤ２７の間に設けられた転送ゲート２０が閉じたところで、再び垂直ＣＣＤ２３から第１の水平ＣＣＤ２４に蓄積電荷の転送が行われる。ここで、この垂直転送動作を行なうための垂直ＣＣＤ２３の駆動パルスの様子を図３に示しておく。
【００１７】
２つの水平ＣＣＤ２４及び２７に転送された電荷は、本発明における撮像装置の信号出力期間にあわせて、第１及び第２の２つの出力アンプ２５及び２８に順次転送され、電圧変化による電気信号として第１及び第２の出力端子２６及び２９から読み出される。
【００１８】
以降、前記の２回の垂直転送と水平転送を繰り返すことによって、ＣＣＤ撮像素子手段の画素に蓄積された蓄積電荷の読出しが行なわれる。以上が本発明に用いるＣＣＤ撮像素子手段の基本的な駆動方法である。
【００１９】
上記駆動法によると、ＣＣＤ撮像素子手段１１から読み出される信号は、垂直ＣＣＤ２３内で混合され図４のａに示した配列で該垂直ＣＣＤ内におかれた電荷が、垂直方向の奇数番目と偶数番目に振り分けられて、第２の出力端子２９からは図４のｂに示した奇数番目の電荷が、第１の出力端子２６からは図４のｃに示した偶数番目の電荷が撮像信号として読み出される。
【００２０】
ここで、ＣＣＤ撮像素子手段１１の色フィルタを２×１６の周期で図２に示すようにＲＧＢを配列したことにより、第１及び第２の出力端子から読み出される撮像信号が、一般的な補色ベイヤー型の並び順になることも本撮像装置の特徴である。
【００２１】
第１の出力端子から読みだされた撮像信号（ＣＣＤ＿ＯＵＴ１）は第１のＣＤＳ／ＡＤ変換手段１２に供給され、ディジタル撮像信号に変換される。
該ディジタル撮像信号は第１のＲＧＢ処理手段１３でフィルタリング処理が施されＲＧＢの三原色を示す２４０（ライン／フィールド）の第１のディジタルＲＧＢ撮像信号に変換される。
【００２２】
同様に、第２の出力端子２９から読みだされた撮像信号（ＣＣＤ＿ＯＵＴ２）も、第２のＣＤＳ／ＡＤ変換手段１４、第２のＲＧＢ処理手段１５を経由してＲＧＢ三原色を示す２４０（ライン／フィールド）の第２のディジタルＲＧＢ撮像信号に変換される。
【００２３】
該第１及び第２のディジタルＲＧＢ撮像信号は、Ｙ／Ｃ処理・混合手段１６でインターライン処理の場合は２４０（ライン／フィールド）の新たなディジタルＲＧＢ撮像信号に合成され、さらに、該新たなディジタルＲＧＢ撮像信号は輝度信号と色差信号へと変換される。
【００２４】
Ｙ／Ｃ処理・混合手段１６から出力される輝度信号と色差信号は、画像信号記録手段１７及び表示系信号処理手段１８に供給され、画像信号記録手段１７では画像信号として記録され、表示系信号処理手段１８では接続するモニタに応じたフォーマットに載せてモニタ出力として出力される。
【００２５】
ここまで、本発明における撮像装置の基本動作について説明してきたが、引き続いては本撮像装置を用いた広ダイナミックレンジ画像の生成手順について説明する。
【００２６】
ＣＣＤ撮像素子手段から読み出される撮像信号の信号レベル、即ち画素２１に蓄積される電荷の量は、対象となる被写体から画素２１に到達した光の強度と画素がその光に曝された時間に比例し、画素２１上に展開された蓄積電荷の分布は、撮影しようとする被写体の輝度分布を反映したものである。
【００２７】
ところが、一つの画素２１に蓄積される電荷の容量には上限があるために、あるレベルで飽和してしまい、それ以上光に曝しても蓄積電荷の量は増加しなくなってしまう。そのため、ＣＣＤ撮像素子手段１１を長時間光に曝したまま、電荷の読出しを行わずに放置すると、極端な例では、全ての画素２１が飽和してしまう為に、ＣＣＤ撮像素子手段１１から出力信号がつぶれてしまう。
【００２８】
そこで、一般的な撮像装置においては、被写体の輝度分布が広範に及ぶ場合には、ＣＣＤ撮像素子手段１１の露光時間を短くする若しくは、途中で蓄積電荷を基板に排出すること、即ち高速シャッタを切ることで、画素２１の電荷の蓄積が飽和状態になることを防ぐような露光制御を行っている。
【００２９】
しかしながら、高速シャッタによって露光時間を短くしてしまうと、低輝度部分の信号レベルが絞られるためＳ／Ｎが劣化してしまったり、スポット上に高輝度部分がある被写体に対しては、画面の大部分の占める低輝度の領域のコントラストが低下してしまったり、といった弊害が生じてしまう。
【００３０】
この弊害を解消するために、本発明における撮像装置では、長時間露光から撮影した撮像画像と短時間露光で撮影した撮像画像の２枚の撮像画像を用意して、それら２枚の画像を各々任意の信号レベルでスライスしてから、短時間露光で撮影した高輝度部分の信号と長時間露光で撮影した低輝度部分の信号をつなぎ合わせて１枚の画像を生成する。
【００３１】
この様子を図示したものが図５であり、図５について簡単に説明すると次のとおりとなる。
【００３２】
いま、撮像画像の水平方向のある１ラインに着目した時の輝度分布が図５のａの如き状態であったとする。このとき、短時間露光の画像信号の信号レベル変動が図５のｂ、長時間露光の画像信号の信号レベル変動が図５のｃのようになったとする。
【００３３】
ここで、図５のｂに着目すると、長時間露光の画像信号は被写体の高輝度部分で飽和してしまい被写体の輝度分布を忠実に表せていないことが見て伺える。
【００３４】
そこで、飽和してしまった部分を再現するために、短時間シャッタによる撮影画像からそれに相当する部分を切り出して適当な係数を乗算してから、低速シャッタの撮影画像に加える処理を施す。
【００３５】
その結果、図５のｄに示したような元の被写体の輝度分布を忠実に表現する撮影画像信号が得られる。
【００３６】
本発明による撮像装置では、これら一連の作業をＹ／Ｃ処理・混合手段１６で行なう。
【００３７】
ここまでで、本発明による撮像装置では、長時間露光の撮影画像と短時間露光の撮影画像を適当な形に繋ぎ合わせて、ダイナミックレンジの広い撮像画像を生成することを説明した。次は、本発明による撮像装置で長時間露光の撮影画像と短時間露光の撮影画像を取りこむ方法について説明する。
【００３８】
本発明による撮像装置では、ＣＣＤ撮像素子手段１１の駆動方法をほんの少し変更するだけで、長時間露光による撮影画像と短時間露光による撮影画像を１回のフィールドスキャン読み出しで同時に得ることが出来る。
【００３９】
図６は、本発明の撮像装置における撮影画像取り込むシーケンスの中で、画素２１から垂直ＣＣＤ手段２３に蓄積電荷を読み出す大凡のタイミング、即ちＶ１、Ｖ１’Ｖ３、Ｖ３’をハイレベルにする大凡のタイミングを示したものである。
【００４０】
通常の画素からの蓄積電荷の読出しは、図６のａに示したようにブランキング期間の中で画素２１から垂直ＣＣＤ２３への蓄積電荷の読出しをおこなう。
【００４１】
この場合の露光時間は、画素２１から基板上へ電荷を排出タイミングである電荷排出タイミングから、画素２１から垂直ＣＣＤ２３への蓄積電荷の読出しをおこなうリードタイミングまで、即ち図６のａにおけるＴＮが露光時間となる。
【００４２】
一方、本発明における撮像装置では、１回のフィールドスキャンでＣＣＤ撮像素子手段１１の垂直方向２ラインごとで振り分けられた２枚の撮像画像を得ることが可能であることは、既に説明したとおりである。このことを利用して長時間露光と短時間露光で撮影した露光時間の異なる２枚の撮像画像を１回のフィールドスキャンで取り込むには、露光時間ＴＮがＣＣＤ撮像素子手段１１の垂直２ラインごとに切り替わるように信号読出しを行えばよく、そのためのＣＣＤ撮像素子手段１１の駆動は、以下に示すように行えばよい。
【００４３】
図６のｂは２ラインごとに読み出しタイミングを変えた場合の大凡のタイミングを示したものである。
【００４４】
図６のｂにおいて、２ラインごとに切り替わる読出しタイミングはそれぞれリードタイミングＡ及びリードタイミングＢと表記した。
【００４５】
また、リードタイミングＡをＶ１、Ｖ３で電荷を読み出すタイミング、リードタイミングＢをＶ１’、Ｖ３’で電荷を読み出すタイミングとした場合の図６のｂにおける読出しタイミング２に相当する、ＣＣＤ撮像素子手段１１の駆動パルスの概形は図７に示したとおりで、図７においてＳＵＢと表記されているパルスは、画素２１から基板へ電荷を排出するパルスの波形を示している。
【００４６】
いま、図６のｂにおける読出しタイミング２に相当する期間に行われる電荷の読出しについて考える。
【００４７】
リードタイミングＡで読み出される画素２１の露光時間は、直前の読出しタイミング１におけるリードタイミングＡによる読出しから現在着目している読出しタイミング２におけるリードタイミングＡによる読出しタイミングまで、即ちＴＬが露光時間となる。
【００４８】
一方、リードタイミングＢで読み出される画素２１の露光時間は、現在着目している読出しタイミング２の期間で行われる電荷の排出タイミングの後にリードタイミングＢによる読出しが発生するので、電荷の排出からリードタイミングＢで示した読出しタイミングまで、即ちＴＳが露光時間となる。
【００４９】
このとき、ＴＬ＞ＴＳとなり、短時間露光により蓄積された電荷と長時間露光により蓄積された電荷が２ラインごとに交互に垂直ＣＣＤ２３上に読み出されることになる。
【００５０】
この状態で、短時間露光による蓄積電荷及び長時間露光による蓄積電荷同士で画素混合を行なうようにして、電荷の読出しを行なうと第１の出力端子２６からは長時間露光に得た撮像信号が、第２の出力端子２９からは短時間露光によって得た撮像信号が読み出される。
【００５１】
図８は、このとき行われる画素混合直後の垂直ＣＣＤ２３上に展開される電荷の配置（図８のａ）と第１の出力端子２６から読み出される信号（図８のｃ）及び第２の出力端子２９から読み出される信号（図８のｂ）の関係を示したものである。以上に示したように、本発明による撮像装置ではＣＣＤ撮像素子手段１１から信号を読み出す際に、画素２１から垂直ＣＣＤ２３上に電荷を読み出すタイミングを２ラインごとで垂直ブランキング期間に行なう電荷排出タイミングの前後に振り分けることによって、１回のフィールドスキャンで露光時間の異なる２種類の撮像信号が得られる。
【００５２】
ところで、上記ＣＣＤ撮像素子手段１１の駆動法によって得た２つの撮像信号から生成される画像は互いに垂直方向に０．５ライン分オフセットしている。したがって、該２つの撮像信号から生成する第１及び第２のディジタルＲＧＢ撮像信号を加算する場合は、何れか一方の信号を０．５ラインオフセットさせることが望ましい。
【００５３】
そこで次は、本発明における撮像装置において、第１及び第２のディジタルＲＧＢ撮像信号の何れか一方をオフセットさせる手順について説明する。
【００５４】
いま、図６のｂに示した広ダイナミックレンジ撮影の露光タイミングにおいて、信号読出し１で画素２１から垂直ＣＣＤ２３に読み出した電荷がＣＣＤ撮像素子手段１１の第１及び第２の出力端子から読み出されるフィールドをフィールドＡ、信号読出し２で画素２１から垂直ＣＣＤ２３に読み出した電荷がＣＣＤ撮像素子手段１１の第１及び第２の出力端子から読み出されるフィールドをフィールドＢとする。
【００５５】
さらにここで、第１及び第２の出力端子から読み出される信号は互いに垂直方向に０．５ラインオフセットしているので便宜上、第２の出力端子２９から読み出される信号には、ライン毎に０．５、１．５、２．５…、第１の出力端子２６から読み出される信号には、ライン毎に１．０、２．０、３．０、…と番号をつけるとする。
【００５６】
上記条件のもと、本発明による撮像装置が出力する輝度信号と色差信号のフォーマットをＮＴＳＣ方式とする場合に、該撮像装置が出力すべき信号について考える。
【００５７】
ＮＴＳＣ方式は、フィールド毎にＯＤＤフィールドとＥＶＥＮフィールドで表示画面を走査するラインを切り替えており、ＥＶＥＮフィールドでは偶数番目のライン走査を、ＯＤＤフィールドでは奇数番目のライン走査を行って画面上に映像を表示する。
【００５８】
いま、図６のｂにおけるフィールドＡをＥＶＥＮフィールド、フィールドＢをＯＤＤフィールドと仮定すると、フィールドＡでは、第１の出力端子から出力される信号が示すラインに相当するラインつまり１．０ライン目、２．０ライン目、３．０ライン目、…の輝度信号と色差信号、フィールドＢでは、第２の出力端子から出力される信号が示すラインに相当するラインつまり０．５ライン目、１．５ライン目、２．５ライン目、…の輝度信号と色差信号が該撮像装置から順次出力されれば、ＮＴＳＣ方式に準じた輝度信号と色差信号を出力されることとなる。
【００５９】
したがって、撮像装置はフィールドＡの期間は第２の出力端子２９から得られる画像信号を、フィールドＢの期間は第１の出力端子２６から得られる画像信号をオフセットさせてから広ダイナミックレンジ画像の合成おこなって、その合成画像を輝度信号と色差信号に変換したものを出力するようにする。
【００６０】
図９は、２ライン目と１．５ライン目に着目した時の、オフセットさせたＲＧＢ画像信号の生成手順の概略を示す図であり、同図示す意味は以下の説明のとおりである。
【００６１】
フィールドＡにおける、２ライン目のＲＧＢ画像信号の生成は、オフセットさせるほうの信号は図９のａに示したように１．５ライン目と２．５ライン目の撮像信号から、フィルタリング処理により２ライン目のＲＧＢ撮像信号を生成して、オフセットさせないほうの信号は図９のｂに示したように２．０ライン目と隣接する２ラインの撮像信号から、フィルタリング処理により２ライン目のＲＧＢ撮像信号を生成する。
【００６２】
また、フィールドＢにおける、１．５ライン目のＲＧＢ撮像信号の生成は、オフセットさせないほうの信号は図９のｃに示したように１．５ライン目と隣接する２ラインの撮像信号からフィルタリング処理により２ライン目のＲＧＢ撮像信号を生成して、オフセットさせるほうの信号は図９のｄに示したように１ライン目と２ライン目の撮像信号から１．５ライン目のＲＧＢ撮像信号を生成する。
【００６３】
上記のライン処理によれば、フィルタリング処理に過程でＭｇ、Ｇ、Ｃｙ、Ｙｅの４色の撮像信号が存在するので、撮像信号をＲＧＢの三原色からなる撮像信号に変換することが可能であることは明白である。
【００６４】
また、図９で示したＲＧＢ撮像信号の生成では、オフセットさせないものを３ライン処理、オフセットさせるものを２ライン処理としたが、オフセットさせるほうを５ライン処理、オフセットさせないほう４ライン処理に変更しても良い。
【００６５】
また上記とは別に、ＲＧＢ処理手段１５とＹ／Ｃ処理・混合手段１６の間に、新たに信号補間手段を設けて、ＲＧＢ処理手段１５でフィルタリング処理をしてＲＧＢを生成する過程でオフセット処理を行わずに、３ライン処理若しくは５ライン処理によってＲＧＢ撮像信号を生成したのちに、該信号補間手段で何れか一方をオフセットさせても同様の効果が得られる。
【００６６】
以上によれば、露光時間が異なり、なお且つ画角の合った２枚の撮像画像を表現するディジタルＲＧＢ信号を生成することが可能となる。
【００６７】
そして、該２枚の撮像画像を図５で示した例のようにつなぎ合わせれば、ＣＣＤ撮像素子手段１１が固有に持つダイナミックレンジよりも広いダイナミックレンジを持つ被写体の細部を表現出来る画像信号を生成することが出来る。
以上が図１に示した本発明の実施の形態である。
【００６８】
また、本発明で用いるＣＣＤ撮像素子手段１１は、撮像装置が出力する撮像画像信号の水平周期の２分の１の周期で１ライン分の信号読出しが可能な撮像素子手段であれば、必ずしも水平ＣＣＤを２ライン分具備する必要は無い。
【００６９】
また、本実施例では、撮像手段にＣＣＤ撮像素子手段を用いたが、垂直方向に本実施例と同様の画素数を具備し、なお且つフォトダイオードに蓄積された電荷をフォトダイオードに付随させた電荷を一時的に蓄積する電荷蓄積手段に電荷を読み出した後に、信号の読出しを行なう構成としたＣ−ＭＯＳ撮像素子手段を該ＣＣＤ撮像素子手段の変わりに用いても同様の効果が得られる。
【００７０】
図１０は本発明による図１の実施例とは別の実施の形態の１例である撮像装置のブロック図を示している。
【００７１】
図１の実施例との異なる部分は、第１のＣＤＳ／ＡＤ変換手段１２と第１のＲＧＢ処理手段１３の間にフィールドメモリ１０１を設けた点である。
【００７２】
本実施例では、フィールドメモリ１０１を設けることで、撮像装置を以下のように制御することが可能となる。
【００７３】
ＣＣＤ撮像素子手段１１の第１の出力端子２６から読み出される撮像信号の露光時間、即ち垂直ＣＣＤ２３に電荷を読み出すまでの期間を１フィールド以内に固定する。
【００７４】
第２の出力端子２９の読み出される撮像信号の露光時間を１フィールド以内から複数フィールドの範囲で可変させる。
【００７５】
ここで、フォトダイオード２１から垂直ＣＣＤ２３に電荷を転送するタイミングは必ずしもブランキング期間である必要は無く、図１１に示したように該当するフォトダイオードに接続されている垂直ＣＣＤに垂直転送中の電荷が存在しなければ良い。
【００７６】
フィールドメモリ１０１の内容を書き換えるタイミングを第１の出力端子から撮像信号が出てくるタイミング、つまり、電荷を垂直ＣＣＤ２３に読み出した直後のフィールドに限定する。
【００７７】
フィールドメモリ内の撮像画像と現在のＣＣＤ撮像素子手段１１から読み出されてくる撮像画像で、広ダイナミックレンジ処理の画像合成処理を行なう。
以上によれば、長時間露光側の撮像画像の露光時間を延ばしても、短時間露光側の撮像画像は１フィールド以内となるので、その読出し画像を出力画像に毎フィールド期間反映することが出来るので、出力画像の更新レートを落とさずに済む。
【００７８】
【発明の効果】
本発明によれば、対象となる被写体の輝度分布が広範に及ぶ場合でも、被写体の像を忠実に再現する画像を生成することが可能な広ダイナミックレンジの撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態の一例である。
【図２】図１の実施の形態に用いるＣＣＤ撮像手段の一例である。
【図３】図１の実施の形態における通常撮影時の画素蓄積電荷の読出しパルス波形である。
【図４】図１の実施の形態における通常撮影時の画素混合結果と出力信号配列である。
【図５】広ダイナミックレンジ画像生成イメージ説明図である。
【図６】図１の実施の形態における通常撮影時の露光制御及び広ダイナミックレンジ撮影時の露光制御での画素蓄積電荷読出しタイミングである。
【図７】図１の実施の形態における広ダイナミックレンジ撮影時の画素蓄積電荷の読出しパルス波形である。
【図８】図１の実施の形態における広ダイナミックレンジ撮影時の画素混合結果と出力信号配列である。
【図９】図１の実施の形態における撮影画像の画角合わせのイメージ図である。
【図１０】図１の実施の形態とは異なる本発明の実施形態の一例である。
【図１１】図１の実施の形態における垂直転送期間中に撮像信号を画素から読み出す駆動パルスの一例である。
【符号の説明】
１１…ＣＣＤ撮像素子手段
１２…ＣＤＳ（相関２重サンプリング）・Ａ／Ｄ変換手段
１３…ＲＧＢ処理手段
１４…第２のＣＤＳ・Ａ／Ｄ変換手段
１５…第２のＲＧＢ処理手段
１６…Ｙ／Ｃ処理・混合手段
１７…画像信号記録手段
１８…表示系信号処理手段
１９…タイミング発生手段
２０…第１のＣＣＤから第２のＣＣＤに電荷を転送する転送ゲート
２１…画素
２２…画素に蓄積された電荷を垂直ＣＣＤに転送を行なうゲート
２３…垂直ＣＣＤ
２４…第１の水平ＣＣＤ
２５…第１の出力アンプ
２６…第１の出力端子
２７…第２の水平ＣＣＤ
２８…第２の出力アンプ
２９…第２の出力端子
１０１…フィールドメモリ
【図１】
2004064165.tif 000003
【図２】
2004064165.tif 000004
【図３】
2004064165.tif 000005
【図４】
2004064165.tif 000006
【図５】
2004064165.tif 000007
【図６】
2004064165.tif 000008
【図７】
2004064165.tif 000009
【図８】
2004064165.tif 000010
【図９】
2004064165.tif 000011
【図１０】
2004064165.tif 000012
【図１１】
2004064165.tif 000013