(57)【要約】【課題】ダイナミックレンジを大幅に広げることが可能な撮像装置を提供する。【解決手段】固体撮像素子５は、感度の異なる光電変換素子５１，５２のペアを複数有する。ペアの光電変換素子５１と光電変換素子５２の間には垂直電荷転送路５３ａが設けられており、ペアの光電変換素子５１と光電変換素子５２の間にある垂直電荷転送路５３ａは、露光期間中、当該ペアに対応する位置にスミア電荷を蓄積する。Ｄレンジ拡大処理部１９は、露光期間中にペアの光電変換素子５１に蓄積された信号電荷に応じた第一の信号と、前記露光期間中に当該ペアの光電変換素子５２に蓄積された信号電荷に応じた第二の信号と、前記露光期間中に当該ペアに対応する垂直電荷転送路５３ａの位置に蓄積されたスミア電荷に応じた第三の信号とを用いて画像データを生成する。【選択図】図７
2011188306.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子と、前記固体撮像素子から複数フィールドに分けて読み出される複数の信号を用いて１つの画像データを生成する信号処理部とを有する撮像装置であって、
前記固体撮像素子は、複数の光電変換素子と、前記光電変換素子に蓄積された信号電荷を転送する電荷転送路とを含み、
前記複数の光電変換素子は、互いに近接して配置された感度差のある信号を出力する第一の光電変換素子及び第二の光電変換素子のペアを複数有し、
前記ペアの前記第一の光電変換素子と前記第二の光電変換素子の間には前記電荷転送路が設けられており、
前記ペアの前記第一の光電変換素子と前記第二の光電変換素子の間にある前記電荷転送路は、当該ペアに対応する位置にスミア電荷を蓄積する駆動が可能であり、
前記信号処理部は、前記ペアの前記第一の光電変換素子に蓄積された信号電荷に応じた第一の信号と、当該ペアの前記第二の光電変換素子に蓄積された信号電荷に応じた第二の信号と、当該ペアに対応する前記電荷転送路の位置に前記駆動によって蓄積された前記スミア電荷に応じた第三の信号とを用いて前記画像データを生成する撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子が、それぞれ、上方に同一色の光を透過するカラーフィルタを有し、
前記第一の光電変換素子上方の前記カラーフィルタと、前記第二の光電変換素子上方の前記カラーフィルタとが、前記第一の光電変換素子と前記第二の光電変換素子の間の前記電荷転送路を跨いで一体となっており、
前記ペアに対応する位置が、当該ペアの前記第一の光電変換素子と前記第二の光電変換素子の間にある前記電荷転送路の、当該電荷転送路上方の前記カラーフィルタで覆われている領域にある撮像装置。
【請求項３】
請求項１又は２記載の撮像装置であって、
前記複数の光電変換素子が、前記第一の光電変換素子を列方向に並べた第一の列と、前記第二の光電変換素子を前記列方向に並べた第二の列とを、前記列方向に直交する行方向に交互に並べた配置となっており、
前記第一の列及び前記第二の列には、それぞれに対して同じ位置関係で、それぞれに隣接して前記電荷転送路が対応して設けられ、
前記電荷転送路と、当該電荷転送路に対応する前記光電変換素子との間には、当該光電変換素子に蓄積された信号電荷を当該電荷転送路に読み出すための電荷読み出し領域が形成されている撮像装置。
【請求項４】
請求項１又は２記載の撮像装置であって、
前記複数の光電変換素子が、前記第一の光電変換素子を列方向に並べた第一の列と、前記第二の光電変換素子を前記列方向に並べた第二の列とを、前記列方向に直交する行方向に交互に並べた配置となっており、
前記第一の列と前記第二の列の間には、前記行方向に１つおきに前記電荷転送路が設けられており、
前記電荷転送路と、当該電荷転送路に隣接する前記光電変換素子との間には、当該光電変換素子に蓄積された信号電荷を当該電荷転送路に読み出すための電荷読み出し領域が形成されている撮像装置。
【請求項５】
請求項３又は４記載の撮像措置であって、
前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向での位置が同じとなっている撮像装置。
【請求項６】
請求項１〜５のいずれか１項記載の撮像装置であって、
前記第三の信号は１フィールドで全て読み出し、前記第一の信号と前記第二の信号は、複数フィールドで分けて読み出すように前記固体撮像素子を駆動する駆動部を備える撮像装置。
【請求項７】
請求項１〜６のいずれか１項記載の撮像装置であって、
前記第一の光電変換素子と前記第二の光電変換素子とで露光時間に差をつける制御を行うことで前記感度差を設ける撮像装置。
【請求項８】
請求項７記載の撮像装置であって、
前記第一の光電変換素子の露光を先に開始し、その途中で前記第二の光電変換素子の露光を開始し、前記第二の光電変換素子の露光中に前記駆動を行う撮像装置。
【請求項９】
請求項７記載の撮像装置であって、
前記第一の光電変換素子と前記第二の光電変換素子の露光を同時に開始し、前記第一の光電変換素子の露光の途中で前記第二の光電変換素子の露光を終了し、前記第二の光電変換素子の露光で前記第二の光電変換素子から前記第二の信号を読み出した後、前記第一の光電変換素子の露光が終了するまでの間に、前記駆動を行う撮像装置。
【請求項１０】
請求項７記載の撮像装置であって、
前記第一の光電変換素子の露光を先に開始し、その途中で前記第二の光電変換素子の露光を開始し、前記第二の光電変換素子の露光中に前記駆動を行う第一のモードと、
前記第一の光電変換素子と前記第二の光電変換素子の露光を同時に開始し、前記第一の光電変換素子の露光の途中で前記第二の光電変換素子の露光を終了し、前記第二の光電変換素子の露光で前記第二の光電変換素子から前記第二の信号を読み出した後、前記第一の光電変換素子の露光が終了するまでの間に、前記駆動を行う第二のモードとを、ダイナミックレンジ倍率に応じて切り替える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、ダイナミックレンジ（Ｄレンジ）を拡大する方法として、電荷転送路に溜まるスミア電荷に応じた信号と、光電変換素子から読み出した信号電荷に応じた信号とを合成する方法が開示されている。しかしながら、近年の撮像装置においては、より広いダイナミックレンジが求められており、特許文献１に記載の方法だけでは、ダイナミックレンジの拡大には限界があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１８９１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上記事情に鑑みてなされたものであり、ダイナミックレンジを大幅に広げることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、固体撮像素子と、前記固体撮像素子から複数フィールドに分けて読み出される複数の信号を用いて１つの画像データを生成する信号処理部とを有する撮像装置であって、前記固体撮像素子は、複数の光電変換素子と、前記光電変換素子に蓄積された信号電荷を転送する電荷転送路とを含み、前記複数の光電変換素子は、互いに近接して配置された感度差のある信号を出力する第一の光電変換素子及び第二の光電変換素子のペアを複数有し、前記ペアの前記第一の光電変換素子と前記第二の光電変換素子の間には前記電荷転送路が設けられており、前記ペアの前記第一の光電変換素子と前記第二の光電変換素子の間にある前記電荷転送路は、当該ペアに対応する位置にスミア電荷を蓄積する駆動が可能であり、前記信号処理部は、前記ペアの前記第一の光電変換素子に蓄積された信号電荷に応じた第一の信号と、当該ペアの前記第二の光電変換素子に蓄積された信号電荷に応じた第二の信号と、当該ペアに対応する前記電荷転送路の位置に前記駆動によって蓄積された前記スミア電荷に応じた第三の信号とを用いて前記画像データを生成する。
【発明の効果】
【０００６】
本発明によれば、ダイナミックレンジを大幅に広げることが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態を説明するための撮像装置の概略構成を示す図
【図２】図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す平面模式図
【図３】図２に示した固体撮像素子における範囲ＩＩＩの拡大図
【図４】図２に示した固体撮像素子のカラーフィルタを示す図
【図５】図１に示した光電変換素子のペアの出力信号に感度差を設ける別の方法を説明する図
【図６】図１に示した光電変換素子のペアの出力信号に感度差を設ける別の方法を説明する図
【図７】図１に示したデジタルカメラの広Ｄレンジ撮像モード時の動作を説明するためのタイミングチャート
【図８】図１に示したデジタルカメラの広Ｄレンジ撮像モード時の垂直電荷転送部の状態を模式的に示した図
【図９】図１に示したデジタルカメラの広Ｄレンジ撮像モード時の垂直電荷転送部の状態を模式的に示した図
【図１０】図１に示したデジタルカメラの広Ｄレンジ撮像モード時の垂直電荷転送部の状態を模式的に示した図
【図１１】図１に示したデジタルカメラにおける固体撮像素子の変形例を示す図
【図１２】図１１にした固体撮像素子における範囲ＸＩＩの拡大図
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面を参照して説明する。
【０００９】
図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
【００１０】
図示するデジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。なお、図示していないが、撮影レンズ１の前にはメカニカルシャッタが設けられている。
【００１１】
デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御し、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。
【００１２】
また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
【００１３】
デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。
【００１４】
更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、固体撮像素子５から１回の撮像指示に対して出力される３つの信号を用いてダイナミックレンジを拡大した１つの撮像データを生成するＤレンジ拡大処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、Ｄレンジ拡大処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００１５】
図２は、図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す平面模式図である。図２に示した固体撮像素子５は、複数の光電変換素子（光電変換素子５１、光電変換素子５２）と、複数の垂直電荷転送部５３と、水平電荷転送部５４と、出力部５５とを備える。
【００１６】
複数の光電変換素子は、半導体基板表面の行方向Ｘとこれに直交する列方向Ｙに二次元状（図２の例では正方格子状）に配列されている。また、列方向Ｙに並ぶ複数の光電変換素子からなる光電変換素子列のうち、出力部５５側から行方向Ｘに数えて奇数列目にある光電変換素子列を構成する光電変換素子は光電変換素子５２であり、偶数列目にある光電変換素子列を構成する各光電変換素子は光電変換素子５１となっている。
【００１７】
光電変換素子５１と光電変換素子５２は、それぞれ、感度差のある信号を出力するものとなっている。光電変換素子５１と光電変換素子５２とで感度差のある信号を出力させる方法としては様々なものが知られているが、この固体撮像素子５では、撮像素子駆動部１０が、光電変換素子５１と光電変換素子５２とで露光時間を変える制御を行うことで、感度差のある信号を得られるようにしている。感度差のある信号を得るための他の方法については後述する。
【００１８】
垂直電荷転送部５３は、光電変換素子５１，５２に蓄積された信号電荷を列方向Ｙに転送するものであり、半導体基板内に形成された電荷転送チャネルと、この上方に設けられた複数の転送電極とで構成されている。
【００１９】
垂直電荷転送部５３は、各光電変換素子列に隣接する位置に、各光電変換素子列に対応して１つ設けられている。各光電変換素子列と、それに対応する垂直電荷転送部５３との位置関係は、全ての光電変換素子列で同じになっている。図の例では、各光電変換素子列の左隣に、当該各光電変換素子列に対応する垂直電荷転送部５３が配置されている。各光電変換素子列の各光電変換素子で発生した電荷は、この各光電変換素子列に対応する左側部の垂直電荷転送部５３に読み出されるようになっている。
【００２０】
水平電荷転送部５４は、複数の垂直電荷転送部５３を転送されてきた電荷を行方向Ｘに転送するものであり、半導体基板内に形成された電荷転送チャネルと、この上方に設けられた複数の転送電極とで構成されている。
【００２１】
出力部５５は、水平電荷転送部５４を転送されてきた電荷を、その電荷量に応じた電圧信号に変換して出力する。
【００２２】
以下では、ある光電変換素子５２と、それに垂直電荷転送部５３を挟んで近接して配置される光電変換素子５１（例えば、光電変換素子５２の右側の光電変換素子５１）とをペアとして扱い、固体撮像素子５がこのペアを複数有するものとして説明する。
【００２３】
このデジタルカメラでは、Ｄレンジ拡大処理部１９が、ペアを構成する光電変換素子５１，５２からそれぞれ読み出された第一の信号及び第二の信号と、後述するスミア信号とを用いて（具体的には、これら信号を合成して）、当該ペアに対応する画素データを生成する。
【００２４】
図３は、図２に示した固体撮像素子５における範囲ＩＩＩの拡大図である。なお、図３では、光電変換素子５１，５２上方に設けられる遮光膜の開口Ｋについても併せて図示している。
【００２５】
固体撮像素子５の垂直電荷転送部５３は、半導体基板内に形成された列方向Ｙに延びる直線状の電荷転送チャネル（電荷転送路）５３ａと、この上方に設けられた転送電極Ｖ１〜Ｖ６とで構成されている。電荷転送チャネル５３ａは、例えばｎ型半導体基板上のｐウェル層内に形成されたｎ型不純物層で構成されている。
【００２６】
各光電変換素子５１，５２には、３つの転送電極が対応して設けられている。図３の例では、固体撮像素子５の水平電荷転送部５４の設けれた端部とは逆側の端部から列方向Ｙに数えて奇数行目の光電変換素子行の各光電変換素子５１，５２には、転送電極Ｖ１，Ｖ２，Ｖ３が対応して設けられている。また、偶数行目の光電変換素子行の各光電変換素子５１，５２には、転送電極Ｖ４，Ｖ５，Ｖ６が対応して設けられている。
【００２７】
転送電極Ｖ１〜Ｖ６には、撮像素子駆動部１０から６相の駆動パルスが供給されるようになっている。駆動パルスには、電荷転送チャネル５３ａにバリアを形成するためのパルスＶＬと、電荷転送チャネル５３ａに電位井戸を形成するためのパルスＶＭと、光電変換素子５１，５２からこれに対応する電荷転送チャネル５３ａに電荷を読み出すためのパルスＶＨとが含まれる。パルスＶＬは例えば−８Ｖであり、パルスＶＭは例えば０Ｖであり、パルスＶＨは例えば１５Ｖである。
【００２８】
転送電極Ｖ１は、奇数行の光電変換素子行の光電変換素子５１に対応する電荷読み出し領域５６にパルスＶＨを印加するための読み出し電極も兼ねている。転送電極Ｖ１にパルスＶＨが供給されることで、奇数行の光電変換素子５１から、これに対応する電荷転送チャネル５３ａに信号電荷が読み出される。
【００２９】
転送電極Ｖ３は、奇数行の光電変換素子行の光電変換素子５２に対応する電荷読み出し領域５６にパルスＶＨを印加するための読み出し電極も兼ねている。転送電極Ｖ３にパルスＶＨが供給されることで、奇数行の光電変換素子５２から、これに対応する電荷転送チャネル５３ａに信号電荷が読み出される。
【００３０】
転送電極Ｖ４は、偶数行の光電変換素子行の各光電変換素子５１に対応する電荷読み出し領域５６にパルスＶＨを印加するための読み出し電極も兼ねている。転送電極Ｖ４にパルスＶＨが供給されることで、偶数行の光電変換素子５１から、これに対応する電荷転送チャネル５３ａに信号電荷が読み出される。
【００３１】
転送電極Ｖ６は、偶数行の光電変換素子行の各光電変換素子５２に対応する電荷読み出し領域５６にパルスＶＨを印加するための読み出し電極も兼ねている。転送電極Ｖ６にパルスＶＨが供給されることで、偶数行の光電変換素子５２から、これに対応する電荷転送チャネル５３ａに信号電荷が読み出される。
【００３２】
固体撮像素子５のペアから得られる信号の色成分は同じである必要があるため、この固体撮像素子５の光電変換素子５１，５２上方には、図４に示すようにカラーフィルタＦＲ，ＦＢ，ＦＧが設けられている。カラーフィルタＦＲ，ＦＢ，ＦＧは、それぞれペア毎に設けられており、その配置はベイヤ状となっている。
【００３３】
カラーフィルタＦＲは、赤色の光を透過する光学フィルタであり、ペアを構成する光電変換素子５１，５２で一体化されたものとなっている。つまり、カラーフィルタＦＲは、ペアを構成する光電変換素子５１上方から当該ペアを構成する光電変換素子５２上方まで、当該光電変換素子５１と当該光電変換素子５２の間の垂直電荷転送部５３を跨いで形成されている。
【００３４】
カラーフィルタＦＧは、緑色の光を透過する光学フィルタであり、ペアを構成する光電変換素子５１，５２で一体化されたものとなっている。つまり、カラーフィルタＦＧは、ペアを構成する光電変換素子５１上方から当該ペアを構成する光電変換素子５２上方まで、当該光電変換素子５１と当該光電変換素子５２の間の垂直電荷転送部５３を跨いで形成されている。
【００３５】
カラーフィルタＦＢは、青色の光を透過する光学フィルタであり、ペアを構成する光電変換素子５１，５２で一体化されたものとなっている。つまり、カラーフィルタＦＢは、ペアを構成する光電変換素子５１上方から当該ペアを構成する光電変換素子５２上方まで、当該光電変換素子５１と当該光電変換素子５２の間の垂直電荷転送部５３を跨いで形成されている。
【００３６】
図６に示すように、光電変換素子５１，５２上方に設けるカラーフィルタＦＲを光電変換素子５１と光電変換素子５２とで分割し、領域ＣＦ１，ＣＦ２に分け、領域ＣＦ１と領域ＣＦ２の透過率を変えることで、光電変換素子５１と光電変換素子５２に感度差を設けることができる。なお、この構成の場合は、光電変換素子５１と光電変換素子５２でカラーフィルタを一体化するのは難しいため、別々にカラーフィルタを形成する。
【００３７】
以上のように構成されたデジタルカメラでは、広Ｄレンジ撮像モードと高解像度撮像モードと高感度撮像モードの３つのモードを被写体に応じて又は手動で切り替えられるようになっている。
【００３８】
広Ｄレンジ撮像モードとは、光電変換素子５１，５２の露光時間をそれぞれ異なるものとし、ペアを構成する光電変換素子５１，５２から得られる感度の異なる信号を用いて該ペアに対応する画素データを生成するモードである。
【００３９】
高解像度撮像モードとは、光電変換素子５１，５２の露光時間を同一とし、固体撮像素子５に含まれる各光電変換素子から得られる信号から、各光電変換素子に対応する画素データを生成するモードである。
【００４０】
高感度撮像モードとは、光電変換素子５１，５２の露光時間を同一とし、ペアを構成する光電変換素子５１，５２から得られる信号を合成して、該ペアに対応する感度の高い画素データを生成するモードである。
【００４１】
以下では、広Ｄレンジ撮像モード時の動作について説明する。
【００４２】
図５は、図１に示したデジタルカメラの広Ｄレンジ撮像モード時の動作を説明するためのタイミングチャートである。図６〜図８は、図１に示したデジタルカメラの広Ｄレンジ撮像モード時の垂直電荷転送部５３の状態を模式的に示した図である。図６〜図８では、垂直電荷転送部５３の電荷転送チャネル５３ａについては図示を省略している。
【００４３】
ＡＥ、ＡＦを行うための予備撮像が終了して本撮像の指示がなされると、撮像素子駆動部１０がメカニカルシャッタを開状態にする。
【００４４】
次に、撮像素子駆動部１０が、固体撮像素子５の半導体基板に高電圧の電子シャッタパルスを印加すると共に、転送電極Ｖ１，Ｖ３，Ｖ４，Ｖ６にそれぞれパルスＶＨを印加する。これにより、光電変換素子５１、光電変換素子５２、電荷転送チャネル５３ａにそれぞれ蓄積されていた電荷は、半導体基板にはき捨てられる。撮像素子駆動部１０は、時刻ｔ１で、電子シャッタパルスの印加を停止し、転送電極Ｖ１，Ｖ３，Ｖ４，Ｖ６へのパルスＶＨの印加を停止することで、露光期間（光電変換素子５１の長時間露光）を開始する。
【００４５】
長時間露光（長露光）が開始されると、光電変換素子５１，５２には入射光に応じた信号電荷が蓄積される。また、電荷転送チャネル５３ａには、光電変換素子５１，５２表面で発生したスミア電荷や、遮光膜で遮光しきれずに侵入してきた光によるスミア電荷が蓄積される。
【００４６】
長露光の開始から所定時間経過後の時刻ｔ２になると、撮像素子駆動部１０は、転送電極Ｖ３，Ｖ６にパルスＶＨを印加して、光電変換素子５２に蓄積された信号電荷を電荷転送チャネル５３ａに読み出す。この時点で、光電変換素子５２の短時間露光（短露光）が開始される。次に、撮像素子駆動部１０は、転送電極Ｖ１〜Ｖ６にパルスを印加して、読み出した信号電荷を高速転送して外部に掃き捨てる（転送ａ１）。
【００４７】
転送ａ１が終了すると、撮像素子駆動部１０は、転送電極Ｖ２，Ｖ５にパルスＶＭを印加し、転送電極Ｖ１，Ｖ３，Ｖ４，Ｖ６にパルスＶＬを印加する。これにより、電荷転送チャネル５３ａの各ペアに対応する位置（ここでは、光電変換素子５１と光電変換素子５２とで挟まれる位置である転送電極Ｖ２，Ｖ５下）に、スミア電荷の蓄積が開始される。このときの状態を示したのが図６である。転送電極Ｖ２，Ｖ５には電位井戸が形成され、この井戸にスミア電荷（図６中の○印）が蓄積される。
【００４８】
短露光の開始から更に所定時間経過後の時刻ｔ３になると、撮像素子駆動部１０は、メカニカルシャッタを閉状態にする。これにより、長露光及び短露光が終了し、電荷転送チャネル５３ａにおけるスミア電荷の蓄積も終了する（露光期間の終了）。
【００４９】
次に、撮像素子駆動部１０は、転送電極Ｖ１〜Ｖ６にパルスを印加して、転送電極Ｖ２，Ｖ５下に蓄積されたスミア電荷を転送し（図５中の転送ａ２）、当該スミア電荷に応じたスミア信号を固体撮像素子５から出力させる。固体撮像素子５から出力されるスミア信号は、アナログ信号処理後、デジタル変換されてメインメモリ１６に一時記憶される。
【００５０】
次に、撮像素子駆動部１０は、転送電極Ｖ３〜Ｖ６にパルスＶＭを印加し、転送電極Ｖ１，Ｖ２にパルスＶＬを印加する。そして、この状態から、転送電極Ｖ４，Ｖ６にパルスＶＨを印加して、偶数行目の光電変換素子５１，５２から電荷転送チャネル５３ａに信号電荷を読み出す。このときの状態を示したのが図７である。図７に示した□印は光電変換素子５１から読み出した信号電荷を示し、△印は光電変換素子５２から読み出した信号電荷を示す。
【００５１】
次に、撮像素子駆動部１０は、転送電極Ｖ１〜Ｖ６にパルスを印加して、電荷転送チャネル５３ａに読み出された信号電荷（△、□）を転送し（図５中の転送ａ３）、信号電荷□に応じた第一の信号と、信号電荷△に応じた第二の信号とを固体撮像素子５から出力させる。固体撮像素子５から出力される信号は、アナログ信号処理後、デジタル変換されてメインメモリ１６に一時記憶される。
【００５２】
転送ａ３の終了後、撮像素子駆動部１０は、転送電極Ｖ１〜Ｖ４にパルスＶＭを印加し、転送電極Ｖ５，Ｖ６にパルスＶＬを印加する。そして、この状態から、転送電極Ｖ１，Ｖ３にパルスＶＨを印加して、奇数行目の光電変換素子５１，５２から電荷転送チャネル５３ａに信号電荷を読み出す。このときの状態を示したのが図８である。
【００５３】
次に、撮像素子駆動部１０は、転送電極Ｖ１〜Ｖ６にパルスを印加して、電荷転送チャネル５３ａに読み出された信号電荷（△、□）を転送し（図５中の転送ａ４）、信号電荷□に応じた第一の信号と、信号電荷△に応じた第二の信号とを固体撮像素子５から出力させる。固体撮像素子５から出力される信号は、アナログ信号処理後、デジタル変換されてメインメモリ１６に一時記憶される。
【００５４】
転送ａ４の終了後、Ｄレンジ拡大処理部１９は、メインメモリ１６に記憶された各ペアから得られた第一の信号及び第二の信号と、当該ペアに対応する位置の電荷転送チャネル５３ａ（当該ペアの間の電荷転送チャネル５３ａ）から得られたスミア信号とを合成して、各ペアに対応する画素信号を生成する。次に、デジタル信号処理部１７が、各ペアに対応する画素信号にデジタル信号処理を施して画像データ（各ペアに対応する画素データからなるデータ）を生成する。そして、この画像データが記録媒体２１に記録されて、撮像動作が終了する。
【００５５】
以上のように、このデジタルカメラによれば、広Ｄレンジ撮像モードにおいて、各ペアに対応して、感度の異なる第一の信号、第二の信号、及びスミア信号を得ることができる。また、これらの信号を用いて画素データを生成することができる。このため、従来よりもダイナミックレンジを拡大した撮像が可能となる。
【００５６】
また、このデジタルカメラでは、ペアに対応するスミア電荷の蓄積位置を、そのペア上方にあるカラーフィルタで覆われる位置としている。このため、ペアに対応するスミア信号の色成分を、当該ペアに対応する第一の信号及び第二の信号の色成分と一致させることができる。この結果、色ずれのない、高品質の画像データを生成することができる。
【００５７】
また、このデジタルカメラでは、ペアを構成する光電変換素子５１と光電変換素子５２の位置が列方向Ｙで同一となっている。また、このペアに対応するスミア信号を、このペアを構成する光電変換素子５１と光電変換素子５２の間の領域から取得しているため、第一の信号と第二の信号とスミア信号の各々のサンプリングポイントを列方向でほぼ同じにすることができる。この結果、ペアに対応して得られる第一の信号と第二の信号とスミア信号の相関性を高めることができ、高画質の画像データを生成することができる。
【００５８】
また、このデジタルカメラでは、スミア信号については、プログレッシブ駆動で全てを１フィールドで読み出し、第一の信号と第二の信号については、インターレース駆動で全てを２フィールドに分けて読み出すようにしている。スミア電荷は、もともと量が少ないものであるため、プログレッシブ駆動でも十分に転送することができる。これに対し、光電変換素子５１，５２に蓄積される信号電荷は、その量がスミア電荷よりも十分に多い。このため、プログレッシブ駆動で全てを１フィールドで読み出そうとすると、光電変換素子５１，５２の飽和電荷量を小さくしたり、光電変換素子５１の長露光期間を短くしたりしなければならない。そこで、光電変換素子５１，５２に蓄積される信号電荷についてはインターレース駆動で２フィールドに分けて読み出すことで、光電変換素子５１，５２の飽和電荷量を十分に確保したり、光電変換素子５１の長露光期間を十分に長くとったりすることができ、感度低下を防ぐことができる。
【００５９】
なお、図５に示した例では、露光期間において、長露光の途中から短露光を開始するものとしたが、これに限らない。例えば、露光期間において、長露光と短露光を同時に開始し、短露光を先に終了させてもよい。この場合には、長露光を開始した後、任意のタイミングで光電変換素子５２のみから信号電荷を読み出し、これを転送して第二の信号を固体撮像素子５から出力させる。その後は、長露光が終了した後に、第二の信号の読み出し終了から長露光終了までの間に蓄積されたスミア電荷を転送して、スミア信号を固体撮像素子５から出力させる。最後に、光電変換素子５１から信号電荷を読み出しこれを転送して第一の信号を出力させればよい。
【００６０】
このようにすることで、ダイナミックレンジ倍率が大きくなった場合（短露光が短くなった場合）でも、スミア電荷の蓄積時間を長くとることができる。
【００６１】
また、長露光を先に開始し、長露光と短露光を同時に終了させる図５に示した駆動と、長露光と短露光を同時に開始し、短露光を先に終了させる駆動とを、必要なダイナミックレンジ倍率に応じて切り替え可能としてもよい。
【００６２】
また、以上の説明では、光電変換素子５１と光電変換素子５２を含む複数の光電変換素子を正方格子状に配置するものとしたが、これに限らない。例えば、奇数列の光電変換素子列を、偶数列の光電変換素子列に対し、各光電変換素子の列方向配列ピッチの１／２だけ列方向にずらした、いわゆるハニカム配置としてもよい。
【００６３】
また、カラーフィルタはＲＧＢに限らず、シアン、マゼンタ、イエロー等の補色フィルタであってもよい。また、カラー撮像を行わなくてよいのであれば、各ペアの上方に設ける全てのフィルタを、赤外光透過フィルタ、緑色光透過フィルタ等にしてもよい。
【００６４】
また、図１に示したデジタルカメラにおける固体撮像素子５を図９に示した構成の固体撮像素子５’に変更してもよい。
【００６５】
図９に示した固体撮像素子５’は、垂直電荷転送部５３のうち、ペアの光電変換素子５１，５２間にある垂直電荷転送部５３以外を削除し、各列間に垂直電荷転送部５３を１つおきに設けた点が、図２に示した固体撮像素子５とは異なる。
【００６６】
図１０は、図９に示した固体撮像素子５’の範囲ＸＩＩの拡大図である。固体撮像素子５’では、ペアを構成する光電変換素子５１，５２と、これらの間にある電荷転送チャネル５３ａとの間に、電荷読み出し領域５６が形成されている。図１０の例では、転送電極Ｖ１，Ｖ３，Ｖ４，Ｖ６が読み出し電極を兼ねている。
【００６７】
図９に示した固体撮像素子５’では、長露光終了後、露光期間中に転送電極Ｖ２，Ｖ５下に蓄積されたスミア電荷に応じたスミア信号を読み出す。その後、転送電極Ｖ１にパルスＶＨを印加して、奇数行の光電変換素子５１から信号電荷を読み出し、当該信号電荷に応じた第一の信号を出力させる。続いて、転送電極Ｖ４にパルスＶＨを印加して、偶数行の光電変換素子５１から信号電荷を読み出し、当該信号電荷に応じた第一の信号を出力させる。
【００６８】
続いて、転送電極Ｖ３にパルスＶＨを印加して、奇数行の光電変換素子５２から信号電荷を読み出し、当該信号電荷に応じた第二の信号を出力させる。続いて、転送電極Ｖ６にパルスＶＨを印加して、偶数行の光電変換素子５２から信号電荷を読み出し、当該信号電荷に応じた第二の信号を出力させる。
【００６９】
このように、スミア信号はプログレッシブ駆動で読み出し、第一の信号と第二の信号は４フィールドのインターレース駆動で読み出すことで、光電変換素子５１，５２の感度低下を防ぎながら、ダイナミックレンジを拡大することができる。
【００７０】
次に、光電変換素子５１と光電変換素子５２とで感度差のある信号を出力させる別の方法について説明する。
【００７１】
図１１は、図２に示した光電変換素子５１と光電変換素子５２とで感度差のある信号を出力させる別の方法を説明する図である。図１１に示すように、光電変換素子５１，５２上方に設ける遮光膜の開口Ｋの大きさを光電変換素子５１と光電変換素子５２とで変えることで、光電変換素子５１と光電変換素子５２に感度差を設けることができる。
【００７２】
図１２は、図２に示した光電変換素子５１と光電変換素子５２に感度差を設ける更に別の方法を説明する図であり、図３のＶＩ−ＶＩ断面を示す図である。図１２に示す符号Ｗは遮光膜を示している。
【００７３】
図１２に示すように、光電変換素子５１，５２上方に設けるカラーフィルタＦＲを光電変換素子５１と光電変換素子５２とで分割し、領域ＣＦ１，ＣＦ２に分け、領域ＣＦ１と領域ＣＦ２の透過率を変えることで、光電変換素子５１と光電変換素子５２に感度差を設けることができる。なお、この構成の場合は、光電変換素子５１と光電変換素子５２でカラーフィルタを一体化するのは難しいため、別々にカラーフィルタを形成する。
【００７４】
以上のように、本明細書には次の事項が開示されている。
【００７５】
開示された撮像装置は、固体撮像素子と、前記固体撮像素子から複数フィールドに分けて読み出される複数の信号を用いて１つの画像データを生成する信号処理部とを有する撮像装置であって、前記固体撮像素子は、複数の光電変換素子と、前記光電変換素子に蓄積された信号電荷を転送する電荷転送路とを含み、前記複数の光電変換素子は、互いに近接して配置された感度差のある信号を出力する第一の光電変換素子及び第二の光電変換素子のペアを複数有し、前記ペアの前記第一の光電変換素子と前記第二の光電変換素子の間には前記電荷転送路が設けられており、前記ペアの前記第一の光電変換素子と前記第二の光電変換素子の間にある前記電荷転送路は、当該ペアに対応する位置にスミア電荷を蓄積する駆動が可能であり、前記信号処理部は、前記ペアの前記第一の光電変換素子に蓄積された信号電荷に応じた第一の信号と、当該ペアの前記第二の光電変換素子に蓄積された信号電荷に応じた第二の信号と、当該ペアに対応する前記電荷転送路の位置に前記駆動によって蓄積された前記スミア電荷に応じた第三の信号とを用いて前記画像データを生成するものである。
【００７６】
この構成により、それぞれ感度の異なる第一の信号と第二の信号と第三の信号を得ることができるため、これを用いて画像データを生成することで、ダイナミックレンジを従来よりも広げることができる。
【００７７】
開示された撮像装置は、前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子が、それぞれ、上方に同一色の光を透過するカラーフィルタを有し、前記第一の光電変換素子上方の前記カラーフィルタと、前記第二の光電変換素子上方の前記カラーフィルタとが、前記第一の光電変換素子と前記第二の光電変換素子の間の前記電荷転送路を跨いで一体となっており、前記ペアに対応する位置が、当該ペアの前記第一の光電変換素子と前記第二の光電変換素子の間にある前記電荷転送路の、当該電荷転送路上方の前記カラーフィルタで覆われている領域にあるものである。
【００７８】
この構成により、スミア電荷が蓄積される位置の上方には、第一の光電変換素子及び第二の光電変換素子上方に設けられるカラーフィルタが設けられているため、第一の信号と、第二の信号と、第三の信号の色成分を一致させることができ、ダイナミックレンジの拡大されたカラー画像を得ることができる。
【００７９】
開示された撮像装置は、前記複数の光電変換素子が、前記第一の光電変換素子を列方向に並べた第一の列と、前記第二の光電変換素子を前記列方向に並べた第二の列とを、前記列方向に直交する行方向に交互に並べた配置となっており、前記第一の列及び前記第二の列には、それぞれに対して同じ位置関係で、それぞれに隣接して前記電荷転送路が対応して設けられ、前記電荷転送路と、当該電荷転送路に対応する前記光電変換素子との間には、当該光電変換素子に蓄積された信号電荷を当該電荷転送路に読み出すための電荷読み出し領域が形成されているものである。
【００８０】
この構成により、汎用の固体撮像素子から大きく構成を変更することなく、ダイナミックレンジを広げた撮像が可能となる。
【００８１】
開示された撮像装置は、前記複数の光電変換素子が、前記第一の光電変換素子を列方向に並べた第一の列と、前記第二の光電変換素子を前記列方向に並べた第二の列とを、前記列方向に直交する行方向に交互に並べた配置となっており、前記第一の列と前記第二の列の間には、前記行方向に１つおきに前記電荷転送路が設けられており、前記電荷転送路と、当該電荷転送路の側部にある前記光電変換素子との間には、当該光電変換素子に蓄積された信号電荷を当該電荷転送路に読み出すための電荷読み出し領域が形成されているものである。
【００８２】
この構成により、電荷転送路の数を少なくすることができ、その分、画素数増大、画素サイズ拡大等を行うことができる。
【００８３】
開示された撮像装置は、前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向での位置が同じとなっているものである。
【００８４】
この構成により、第一の信号と第二の信号と第三の信号の各々のサンプリングポイントを列方向で一致させることが可能となる。このため、サンプリングポイントずれの少ない撮像データを得ることができる。
【００８５】
開示された撮像装置は、前記第三の信号は１フィールドで全て読み出し、前記第一の信号と前記第二の信号は、複数フィールドで分けて読み出すように前記固体撮像素子を駆動する駆動部を備えるものである。
【００８６】
この構成により、第一の信号と第二の信号を読み出すときの電荷転送路の転送容量を大きくすることができる。このため、光電変換素子の飽和電荷量も大きくすることができ、感度向上につながる。
【００８７】
開示された撮像装置は、前記第一の光電変換素子と前記第二の光電変換素子とで露光時間に差をつける制御を行うことで前記感度差を設けるものである。
【００８８】
この構成により、各画素の構造を同じにすることができる。
【００８９】
開示された撮像装置は、前記第一の光電変換素子の露光を先に開始し、その途中で前記第二の光電変換素子の露光を開始し、前記第二の光電変換素子の露光中に前記駆動を行うものである。
【００９０】
開示された撮像装置は、前記第一の光電変換素子と前記第二の光電変換素子の露光を同時に開始し、前記第一の光電変換素子の露光の途中で前記第二の光電変換素子の露光を終了し、前記第二の光電変換素子の露光で前記第二の光電変換素子から前記第二の信号を読み出した後、前記第一の光電変換素子の露光が終了するまでの間に、前記駆動を行うものである。
【００９１】
開示された撮像装置は、前記第一の光電変換素子の露光を先に開始し、その途中で前記第二の光電変換素子の露光を開始し、前記第二の光電変換素子の露光中に前記駆動を行う第一のモードと、前記第一の光電変換素子と前記第二の光電変換素子の露光を同時に開始し、前記第一の光電変換素子の露光の途中で前記第二の光電変換素子の露光を終了し、前記第二の光電変換素子の露光で前記第二の光電変換素子から前記第二の信号を読み出した後、前記第一の光電変換素子の露光が終了するまでの間に、前記駆動を行う第二のモードとを、ダイナミックレンジ倍率に応じて切り替えるものである。
【符号の説明】
【００９２】
５  固体撮像素子
５１，５２  光電変換素子
５３  垂直電荷転送部
５３ａ  電荷転送チャネル
Ｖ１〜Ｖ６  転送電極
１９  Ｄレンジ拡大処理部
【図１】
2011188306.tif 000003
【図２】
2011188306.tif 000004
【図３】
2011188306.tif 000005
【図４】
2011188306.tif 000006
【図５】
2011188306.tif 000007
【図６】
2011188306.tif 000008
【図７】
2011188306.tif 000009
【図８】
2011188306.tif 000010
【図９】
2011188306.tif 000011
【図１０】
2011188306.tif 000012
【図１１】
2011188306.tif 000013
【図１２】
2011188306.tif 000014