(57)【要約】【課題】信号レベルの異なる２つの撮像信号を両方とも適正なレベルまで増幅する。【解決手段】  撮像が行われると、主画素撮像信号と、この主画素撮像信号よりも信号レベルの小さい副画素撮像信号とがアナログ信号処理回路４１に入力される。アナログ信号処理回路４１は、入力された主画素撮像信号をアッテネータ４７に送る。アッテネータ４７は、主画素撮像信号の信号レベルが副画素撮像信号の信号レベルと等しくなるように、主画素撮像信号を減衰させ、アンプ４２に出力する。他方、アナログ信号処理回路４１に入力された副画素撮像信号は、アッテネータ４７を介さずにそのままアンプ４２に出力される。アンプ４２は、減衰により信号レベルが揃えられた主画素撮像信号と副画素撮像信号とを等しいゲイン率にて増幅する。【選択図】        図２
2006238410.tif 000002
【特許請求の範囲】
【請求項１】
低輝度域から中輝度域までの階調を表現するために高感度に設定された主画素と、前記主画素では表現できない高輝度域の階調を表現するために低感度に設定された副画素とがそれぞれ複数配列され、各画素に蓄積された電荷を撮像信号として取得する撮像素子を備えた撮像装置において、
前記主画素から得られる主画素撮像信号の信号値と、前記副画素から得られる副画素撮像信号の信号値とがほぼ等しい幅範囲内に収まるように、これら２つの撮像信号のうち少なくとも一方を増幅または減衰させる信号処理手段と、
前記増幅または減衰後の２種類の撮像信号を合成して合成画像を生成する画像合成手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記信号処理手段は、前記主画撮像信号と前記副画素撮像信号の信号値がほぼ等しい幅範囲内に収まるように、これら２つの撮像信号のうち一方を減衰させる信号減衰手段と、
前記減衰により、信号値がほぼ等しい幅範囲内に収められた２つの撮像信号を予め設定された増幅率にて増幅させる信号増幅手段とからなることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記主画素は前記副画素よりも蓄積可能な電荷の量を示す飽和レベルが高く設定され、
前記信号処理手段は、前記減衰手段により前記主画撮像信号を減衰させることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記信号処理手段は、前記主画撮像信号と前記副画素撮像信号の信号値がほぼ等しい幅範囲内に収まるように、これら２つの撮像信号をそれぞれ異なる増幅率にて増幅することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記主画素は前記副画素よりも蓄積可能な電荷の量を示す飽和レベルが高く設定され、前記信号処理手段は、前記主画素から得られる撮像信号を、前記副画素から得られる撮像信号よりも小さな増幅率で増幅することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記信号処理手段は、前記主画素撮像信号の増幅を行う第１アンプと、前記副画素撮像信号の増幅を行う第２アンプとを備えていることを特徴とする請求項４または５記載の撮像装置。
【請求項７】
前記撮像素子は、前記主画素に蓄積された電荷を転送するための第１転送路と、前記副画素に蓄積された電荷を転送するための第２転送路とを備え、
前記第１転送路に前記第１アンプを接続し、前記第２転送路に前記第２アンプを接続したことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記撮像素子は、前記主画素に蓄積された電荷、並びに、前記副画素に蓄積された電荷を転送するための共通の転送路を備え、
前記転送路に、前記信号処理手段を接続したことを特徴とする請求項１または２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
低輝度域から中輝度域までの階調を表現するために高感度に設定された主画素と、前記主画素では表現できない高輝度域の階調を表現するために低感度に設定された副画素とがそれぞれ複数配列され、各画素に蓄積された電荷を撮像信号として取得する撮像素子を備えた撮像装置に関するものである。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳなどの個体撮像素子を備えた撮像装置として、デジタルカメラが広く普及している。個体撮像素子は、受光量に応じた電荷を蓄積する複数の画素を備え、これら各画素に蓄積された電荷をアナログの撮像信号として取得する。取得された撮像信号はそのままでは信号レベルが小さいので、デジタルカメラでは、この撮像信号を信号増幅回路に通して増幅している。増幅後の撮像信号は、デジタル変換された後、ガンマ補正、ホワイトバランス補正、画質補正などの各種画像処理が施され、メモリカードなどの記憶媒体に記憶される
【０００３】
しかし、デジタルカメラにはダイナミックレンジが狭いといった問題があった。これは、図１２に示すように、各画素の電荷蓄積量に限界があり、飽和レベル以上の電荷を蓄積できないためである。すなわち、被写体輝度が低く、飽和レベルを超えない範囲であれば、被写体輝度に応じた電荷が画素に蓄積されるので、この電荷の量に応じた値の撮像信号を得ることができ、画像の階調表現を行える。しかし、被写体輝度が高く、飽和レベルを超えてしまうと、画素はそれ以上電荷を蓄積することができず、撮像信号の値は最大のままとなってしまう。このため、画像の階調表現を行うことができず、撮影された画像にいわゆる白飛びが生じてしまう。
【０００４】
このため、高感度に設定された主画素と低感度に設定された副画素とを備え、主画素より得られた撮像信号（主画素撮像信号）と副画素より得られた撮像信号（副画素撮像信号）とを合成することで、ダイナミックレンジを拡大した撮像装置がある（例えば、下記特許文献１参照）。この装置では、主画素が高感度なので、短い露光時間で大きい出力値を得ることができ、低輝度の被写体を再現する場合には好適である。一方、副画素が低感度なので、高輝度の被写体を撮像しても蓄積可能な電荷が飽和してしまうといったことがなく、高輝度の被写体を再現する場合には好適である。このため、主画素撮像信号と副画素撮像信号とを合成することで広いダイナミックレンジを再現できる。
【特許文献１】特開２００３−２１８３４３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、従来の装置は、主画素の方が副画素よりも高感度に設定されているため、同じ条件で撮像を行った場合、主画素撮像信号が副画素撮像信号よりも大きな値となる（主画素撮像信号の方が副画素撮像信号よりも信号レベルが大きい）。
【０００６】
しかしながら、従来の装置には１つの信号増幅回路しか設けられておらず、信号レベルの異なる主画素撮像信号と副画素撮像信号とを等しいゲイン（増幅率）で増幅していた。このため、主画素撮像信号を適正なレベルまで増幅するゲインでは、副画素撮像信号の増幅が不十分となってしまい、副画素撮像信号を適正なレベルまで増幅するゲインでは、主画素撮像信号が過度に増幅されてしまうといった問題があった。
【０００７】
本発明は、上記背景を鑑みてなされたものであり、主画素撮像信号と副画素撮像信号との２つの撮像信号を両方とも適正なレベルまで増幅することのできる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、低輝度域から中輝度域までの階調を表現するために高感度に設定された主画素と、前記主画素では表現できない高輝度域の階調を表現するために低感度に設定された副画素とがそれぞれ複数配列され、各画素に蓄積された電荷を撮像信号として取得する撮像素子を備えた撮像装置において、前記主画素から得られる主画素撮像信号の信号値と、前記副画素から得られる副画素撮像信号の信号値とがほぼ等しい幅範囲内に収まるように、これら２つの撮像信号のうち少なくとも一方を増幅または減衰させる信号処理手段と、前記増幅または減衰後の２種類の撮像信号を合成して合成画像を生成する画像合成手段とを備えたことを特徴としている。
【０００９】
前記信号処理手段は、前記主画撮像信号と前記副画素撮像信号の信号値がほぼ等しい幅範囲内に収まるように、これら２つの撮像信号のうち一方を減衰させる信号減衰手段と、前記減衰により、信号値がほぼ等しい幅範囲内に収められた２つの撮像信号を予め設定された増幅率にて増幅させる信号増幅手段とからなるものでもよい。
【００１０】
また、前記主画素は前記副画素よりも蓄積可能な電荷の量を示す飽和レベルが高く設定され、前記信号処理手段は、前記減衰手段により前記主画撮像信号を減衰させるものでもよい。
【００１１】
さらに、前記信号処理手段は、前記主画撮像信号と前記副画素撮像信号の信号値がほぼ等しい幅範囲内に収まるように、これら２つの撮像信号をそれぞれ異なる増幅率にて増幅するものでもよい。
【００１２】
また、前記主画素は前記副画素よりも蓄積可能な電荷の量を示す飽和レベルが高く設定され、前記信号処理手段は、前記主画素から得られる撮像信号を、前記副画素から得られる撮像信号よりも小さな増幅率で増幅するものでもよい。
【００１３】
さらに、前記信号処理手段は、前記主画素撮像信号の増幅を行う第１アンプと、前記副画素撮像信号の増幅を行う第２アンプとを備えているものでもよい。
【００１４】
また、前記撮像素子は、前記主画素に蓄積された電荷を転送するための第１転送路と、前記副画素に蓄積された電荷を転送するための第２転送路とを備え、前記第１転送路に前記第１アンプを接続し、前記第２転送路に前記第２アンプを接続してもよい。
【００１５】
さらに、前記撮像素子は、前記主画素に蓄積された電荷、並びに、前記副画素に蓄積された電荷を転送するための共通の転送路を備え、前記転送路に、前記信号処理手段を接続してもよい。
【発明の効果】
【００１６】
本発明の撮像装置によれば、主画素撮像信号の信号値と副画素撮像信号の信号値とがほぼ等しい幅範囲内に収まるように、これら２つの撮像信号のうち少なくとも一方を増幅または減衰させるようにしたので、２つの撮像信号を両方とも適正なレベルまで増幅することができる。
【発明を実施するための最良の形態】
【００１７】
［実施例１］
本発明を実施したデジタルカメラ１０の前面側の斜視図を図１（Ａ）に、背面側の斜視図を同図（Ｂ）にそれぞれ示す。カメラ本体１１の前面には、撮影レンズ１３、並びに、ストロボ発光部１４が設けられており、カメラ本体１１の上面には、シャッタボタン１５が設けられている。
【００１８】
カメラ本体１１の背面には、ズームボタン、モード選択ボタン、電源ボタン、４つのボタンが十字配列されたカーソルボタンからなる操作部１７、及び、各種表示を行うためのＬＣＤ１９が設けられている。また、カメラ本体１１の側面には、メモリカード２１が着脱自在にセットされる。このメモリカード２１には、撮影により生成された画像データが記憶される。
【００１９】
デジタルカメラ１０には、撮影モード、再生モード、各種設定を行うメニューモードが設けられており、各モードは、操作部１７を操作することによって切り替えることができる。ユーザーはこれらの各モードを切り替えながら、撮影モードにおいて撮影を行ったり、再生モードにおいて撮影済みの画像を確認したりする。また、メニューモードにおいては、各種設定を行うことができる。
【００２０】
図２に示すように、デジタルカメラ１０の内部にはＣＰＵ２３が設けられている。ＣＰＵ２３は、シャッタボタン１５や操作部１７から入力される操作信号に応じてデジタルカメラ１０の各部を統括的に制御する。
【００２１】
撮影レンズ１３は、モータを含むレンズ駆動機構２５によって駆動されて、光学撮影倍率の変更と焦点調整が行われる。絞り２７はモータを含む絞り駆動機構２９によって駆動されて、絞り径が切り替えられる。レンズ駆動機構２５及び絞り駆動機構２９は、ＣＰＵ２３に制御されるモータドライバ３１、３３によって駆動される。
【００２２】
絞り２７の背後には、撮像素子として、ＣＣＤイメージセンサ（ＣＣＤ）３５が配置されている。図３に示すように、ＣＣＤ３５には、複数の画素３６が並べて配置されている。さらに、各画素３６には、主画素３６ａとこの主画素３６ａよりも受光面積が小さい副画素３６ｂとが設けられている。主画素３６ａ及び副画素３６ｂは、照射された光を光電変換する受光素子であり、受光量に応じた電荷を蓄積する。
【００２３】
図４に示すように、主画素３６ａ、並びに、副画素３６ｂとしては、感度及び飽和レベルが異なるものが用いられ、主画素３６ａは副画素３６ｂに対し、感度が１６倍、飽和レベルが４倍となっている。主画素３６ａは、低輝度域から中輝度域の被写体を表現するために用いられる。また、副画素３６ｂは、主画素３６ａが飽和レベルを超えて表現することができない高輝度域の被写体を表現するために用いられる。
【００２４】
図３に示すように、各画素３６には、駆動回路３９が接続されている。駆動回路３９は、ＣＰＵ２３によって動作制御され、各画素３６に蓄積された電荷を外部へ除去する電子シャッタ信号や、各画素３６に蓄積された電荷を転送路３７へ出力するための読み出し信号を発生する。電子シャッタ信号や読み出し信号の発生タイミングはＣＰＵ２３によってコントロールされる。また、電子シャッタ信号と読み出し信号は、主画素３６ａと副画素３６ｂに独立に与えられ、主画素３６ａと副画素３６ｂをそれぞれ独立に駆動できるようになっている。
【００２５】
主画素３６ａに対して電子シャッタ信号が与えられると、主画素３６ａ内に蓄積されていた不要な電荷が除去されて主画素３６ａによる撮像が開始される。そして、主画素３６ａには、被写体輝度、及び、受光時間に比例した量の電荷が蓄積される。予め定められた露光時間が経過すると主画素３６ａに、読み出し信号が与えられる。読み出し信号を受けることで、各主画素３６ａに蓄積された電荷が、それぞれ垂直転送路３７ａにより垂直方向に転送された後、水平転送路３７ｂにより１ラインずつ水平方向に転送され、これら電荷の集合が主画素撮像信号として取得される。
【００２６】
同様に、副画素３６ｂに対して電子シャッタ信号が与えられた後、読み出し信号が与えられることで副画素３６ｂにより撮像が行われる。そして、各副画素３６ｂに蓄積された電荷が転送され、これら電荷の集合が副画素撮像信号として取得される。
【００２７】
主画素撮像信号と副画素撮像信号は、アナログ信号処理回路４１に入力される。図２に示すように、アナログ信号処理回路４１は、信号増幅回路（アンプ）４２、Ａ／Ｄコンバータ４４を含んで構成される。アンプ４２は、予め設定されたゲインで主画素撮像信号並びに副画素撮像信号を増幅する。Ａ／Ｄコンバータ４４は、増幅後の主画素撮像信号並びに副画素撮像信号をデジタル変換する。これにより、主画素撮像信号並びに副画素撮像信号を構成する電荷が、その電荷量に応じた輝度階調値に変換され、画素毎に輝度階調値を持つ主画素データと、副画素データとが生成される。
【００２８】
しかし、前述のように、主画素３６ａの方が副画素３６ｂよりも高感度、かつ、飽和レベルが高いので、より多くの電荷を短時間で蓄積できるようになっている（図４参照）。このため、主画素撮像信号は副画素撮像信号よりも信号レベルが大きくなる。そして、このように信号レベルに差がある主画素撮像信号と副画素撮像信号とを等しいゲインで増幅すると、増幅により信号レベル差が強調され、より顕著に表れてしまう。この結果、主画素撮像信号を適度なレベルまで増幅すると、副画素撮像信号の増幅が不十分となってしまう。また、副画素撮像信号を適度なレベルまで増幅すると、主画素撮像信号が過度に増幅されてしまう。
【００２９】
このため、アナログ信号処理回路４１には、セパレータ４５と、信号減衰器（アッテネータ）４７とが設けられている。セパレータ４５は、ＣＣＤ３５の直後に設けられ、ＣＣＤ３５から出力された撮像信号が入力される。セパレータ４５は、入力された撮像信号を主画素撮像信号と副画素撮像信号とに分離する。分離された副画素撮像信号は直接アンプ４２に送られる。他方、主画素撮像信号はアッテネータ４７に送られる。
【００３０】
アッテネータ４７は、主画素撮像信号の信号レベルが、副画素撮像信号の信号レベルと等しくなるように、セパレータ４５から送られた主画素撮像信号を減衰させる。前述のように、主画素３６ａの飽和レベルは、副画素３６ｂの飽和レベルの４倍となっており、主画素撮像信号は、副画素撮像信号の４倍の幅範囲内で信号値を持つことができる。このため、本実施形態では、主画素撮像信号の信号レベルが、副画素撮像信号の信号レベルの４倍であると推定し、アッテネータ４７により、主画素撮像信号を１／４倍に減衰させている。この減衰により、主画素撮像信号の信号値と、副画素撮像信号の信号値とがほぼ等しい幅範囲内に収まる。減衰後の主画素撮像信号は、アンプ４２へ出力される。
【００３１】
このように、信号レベルの大きな主画素撮像信号を減衰させ、主画素撮像信号と副画素撮像信号の信号レベルを揃えれば、これら２つの撮像信号を等しいゲインで増幅しても、増幅後の２つの撮像信号に信号レベル差が生じない。これにより、等しいゲインで２つの撮像信号を適正なレベルまで増幅することができる。このゲインは、増幅後の信号をＡ／Ｄコンバータ４４や、後述するフレームメモリ５１並びにデジタル信号処理回路６１で処理可能な範囲内において、ノイズ成分を無効化できるだけの十分な増幅が行われるように設定される。
【００３２】
ＣＰＵ２３は、デジタルカメラ１０が撮影モードにセットされるとＣＣＤ３５を駆動してスルー画の撮像を開始する。スルー画はＬＣＤ１９に表示されたときにフレーミングが行える程度の画像が得られればよいので、画素数を落として撮像が行われる。撮影モード中にシャッタボタン１５が押圧操作されて本撮影指示が出されると、スルー画としての撮像が一端中止されて記録用の本画像としての撮像が行われる。本画像の撮像が終了した後はスルー画としての撮像が再開される。このように、スルー画並びに本画像の撮像が行われることで、ＣＣＤ３５により取得された主画素撮像信号及び副画素撮像信号が、アナログ信号処理回路４１に送られて、主画素データと副画素データに変換される。そして、この主画素データと副画素データは、データバス５０を介してフレームメモリ５１に出力される。
【００３３】
フレームメモリ５１は、デジタル信号処理回路６１が画像データに対して各種信号処理を施す際に使用される作業用メモリであり、画像データが一時的に記憶される。フレームメモリ５１には、主画素用メモリ５１ａと、副画素用メモリ５１ｂが設けられており、主画素用メモリ５１ａには主画素データが記憶され、副画素用メモリ５１ｂには副画素データが記憶される。
【００３４】
デジタル信号処理回路６１は、フレームメモリ５１に記憶された画像データに対して、ガンマ補正、ホワイトバランス補正、画質補正などの各種画像処理を施す。続いて、デジタル信号処理回路６１は、主画素データと副画素データとを合成する合成処理を行う。合成処理においては、画素毎に、主画素データの輝度階調値と副画素データの輝度階調値とを合成してゆくことで合成画像データが生成される。
【００３５】
主画素３６ａは副画素３６ｂに対して高感度であり、短い露光時間で大きい出力値を得ることができるので、低輝度の被写体を階調豊かに表現できるが、高輝度の被写体を撮像すると蓄積可能な電荷が飽和してしまう。逆に副画素３６ｂは、主画素３６ａに対して感度は劣るが、高輝度の被写体を撮像しても蓄積可能な電荷が飽和してしまうといったことがないので、広いダイナミックレンジを再現できる。このため、合成画像データでは、低輝度の被写体を階調豊かに表現しながら、広いダイナミックレンジを再現できる。この後、合成画像データは、スルー画撮影時はＬＣＤ１９に表示され、本画像撮影時はメモリカード２１に記録される。
【００３６】
以下、本発明の作用について、図５に示すフローチャートをもとに説明をする。デジタルカメラ１０を撮影モードにセットすることで、スルー画の撮像が開始される。撮影モード中にシャッタボタン１５が押圧操作されると、スルー画としての撮像が一端中止されて記録用の本画像としての撮像が行われる。本画像の撮像が終了した後はスルー画としての撮像が再開される。
【００３７】
撮像が行われると、主画素３６ａに蓄積された電荷が主画素撮像信号として、また、副画素３６ｂに蓄積された電荷が副画素撮像信号としてアナログ信号処理回路４１に入力される。この後、主画像撮像信号は、アッテネータ４７に送られ、副画素撮像信号の信号レベルと等しくなるように減衰された後、アンプ４２に出力される。他方、副画素撮像信号が入力された場合は、アッテネータ４７を介さず、そのままアンプ４２に出力される。アンプ４２は、減衰後の主画素撮像信号と、副画素撮像信号とを設定されたゲインで増幅する。
【００３８】
このように、主画素撮像信号と副画素撮像信号の信号レベルを揃えた後、これら２つの撮像信号を増幅するようにしたので、増幅後の２つの撮像信号に信号レベル差が生じることがなく、２つの撮像信号をともに適正なレベルまで増幅することができる。
【００３９】
増幅後の２つの撮像信号は、デジタル変換された後、画素毎に輝度階調値が合成され、合成画像データが生成される。合成画像データは、高感度の主画素３６ａにより、被写体の低輝度部分を階調豊かに表現できるだけでなく、低感度の副画素３６ｂにより、主画素３６ａが飽和してしまう被写体の高輝度部分も再現できる。
【００４０】
なお、本例では、主画素からの電荷と副画素からの電荷を共通の転送路により転送する例で説明をしたが、主画素の電荷を転送するための転送路と、副画素の電荷を転送するための転送路とを独立に設けてもよい。この場合、上記実施形態で説明したセパレータを用いずに、主画素からの撮像信号を直接アッテネータに送る。また、副画素からの撮像信号はアッテネータを介さずに直接アンプに送ればよい。
【００４１】
また、本例では、主画素の飽和レベルが副画素の飽和レベルの４倍であることから、主画素撮像信号の信号レベルが副画素撮像信号の信号レベルの４倍であると推定し、これに基づき、主画素撮像信号を１／４倍に減衰する例で説明をしたが、本発明はこれに限定されるものではない。例えば、主画素撮像信号が持つ画素毎の信号値を平均したもの主画素撮像信号の信号レベルとし、同様に、副画素撮像信号が持つ画素毎の信号値を平均したものを副画素撮像信号の信号レベルとしてもよい。そして、このように算出された各撮像信号の信号レベルを揃えるように主画素撮像信号の減衰率を求めてもよい。
【００４２】
［実施例２］
以下、本発明の実施例２について、図６に示すデジタルカメラ１１０を例に説明する。なお、図６以降の図面については上述した実施例１と同様の部材については同様の符号を付して説明を省略している。
【００４３】
図７において、デジタルカメラ１１０のＣＣＤ１３５は、転送路１３７を備えている。転送路１３７は、各主画素３６ａに蓄積された電荷を垂直、水平方向にそれぞれ転送する垂直転送路１３７ａ、水平転送路１３７ｂと、各副画素３６ｂに蓄積された電荷を垂直、水平方向にそれぞれ転送する垂直転送路１３７ｃ、水平転送路１３７ｄとからなる。主画素撮像信号と、副画素撮像信号とは独立した経路にて転送され、アナログ信号処理回路１４１に入力される。
【００４４】
図６において、アナログ信号処理回路１４１は、信号増幅器１４２が設けられている。信号増幅器１４２は、信号レベルの小さい主画素撮像信号並びに副画素撮像信号を増幅し、後の各種処理におけるノイズの影響を軽減させるために設けられ、主画素撮像信号を増幅する信号増幅回路（第１アンプ）１４２ａと、副画素撮像信号を増幅する信号増幅回路（第２アンプ）１４２ｂとの２種類のアンプから構成される。
【００４５】
第１アンプ１４２ａには、主画素撮像信号を増幅する際に用いられる第１ゲインが設定されている。第１アンプ１４２ａは、主画素１３６ａからの撮像信号が転送される水平転送路１３７ｂに接続され、第１ゲインで主画素撮像信号を増幅する。同様に、第２アンプ１４２ｂには、副画素撮像信号を増幅する際に用いられる第２ゲインが設定されている。そして、第２アンプ１４２ｂは、副画素１３６ｂからの撮像信号が転送される水平転送路１３７ｄに接続され、第２ゲインで副画素撮像信号を増幅する。第１、第２の各ゲインは、増幅後の主画素撮像信号の信号レベルと、増幅後の副画素撮像信号の信号レベルとが等しくなるように設定される。
【００４６】
前述のように、主画素３６ａの飽和レベルは、副画素３６ｂの飽和レベルの４倍となっており、主画素撮像信号は、副画素撮像信号の４倍の幅範囲内で信号値を持つことができる（図４参照）。このため、本例では、増幅前は、主画素撮像信号が副画素撮像信号の４倍の幅範囲内で信号値を持っている（信号レベルが４倍である）と推定し、第１ゲインを、第２ゲインの１／４倍に設定している。こうすることで、増幅後の主画素撮像信号と副画素撮像信号の信号レベルが等しくなる。
【００４７】
このように、増幅後の主画素撮像信号と副画素撮像信号の信号レベルが等しくなるように主画素撮像信号と副画素撮像信号をそれぞれ異なるゲインで増幅することによって、これら２つの撮像信号を適正なレベルまで増幅することができる。適正なレベルはデジタルカメラの仕様によって異なるが、２つの撮像信号をできるだけ大きなゲインで増幅させた方が、後の処理において飛び込むノイズの影響を少なくすることができる。このため、２つの撮像信号を、Ａ／Ｄコンバータ４４や後述するデジタル信号処理回路６１において処理可能な大きさを超えない範囲で、最大限に増幅することが好ましい。
【００４８】
図８に示すように、デジタルカメラ１１０では、撮像に伴い、主画素３６ａに蓄積された電荷が、垂直転送路１３７ａ、水平転送路１３７ｂを介し、主画素撮像信号として第１アンプ１４２ａに入力される。また、副画素３６ｂに蓄積された電荷が、垂直転送路１３７ｃ、水平転送路１３７ｄを介し、副画素撮像信号として第２アンプ１４２ｂに入力される。そして、第１アンプ１４２ａに入力された主画素撮像信号は、第１ゲインで増幅される。また、第２アンプ１４２ｂに入力された副画素撮像信号は、第２ゲインで増幅される。
【００４９】
第１、第２の各ゲインは、増幅後の主画素撮像信号と副画素撮像信号とが等しい信号レベルになるように設定されており、増幅により主画素撮像信号と副画素撮像信号の信号レベルが揃えられる。このように、増幅後の主画素撮像信号と副画素撮像信号の信号レベルが等しくなるように主画素撮像信号と副画素撮像信号をそれぞれ異なるゲインで増幅することによって、これら２つの撮像信号を適正なレベルまで増幅することができる。
【００５０】
なお、本例では、主画素の飽和レベルが副画素の飽和レベルの４倍であることから、主画素撮像信号の信号レベルが副画素撮像信号の信号レベルの４倍であると推定し、これに基づき、第１ゲイン（主画素撮像信号の増幅率）を、第２ゲイン（副画素信号の増幅率）の１／４倍にする例で説明をしたが、本発明はこれに限定されるものではない。例えば、主画素撮像信号が持つ画素毎の信号値を平均したもの主画素撮像信号の信号レベルとし、同様に、副画素撮像信号が持つ画素毎の信号値を平均したものを副画素撮像信号の信号レベルとしてもよい。そして、このように得られた２つの撮像信号の信号レベルを揃えるように、第１、第２の各ゲインを算出し、算出したゲインで各撮像信号を増幅してもよい。
【００５１】
また、本例では、ＣＣＤと別体に設けられたアンプにより撮像信号の増幅を行う例で説明をしたが、ＣＣＤと一体にアンプを設けても本発明を実施することができる。この場合、例えば、図９に示すＣＣＤ１４５ように、水平転送路１３７ｂ、１３７ｄにそれぞれフローティング・ディフュージョン・アンプ（ＦＤＡ）１６２ａ、１６２ｂを設ける。そして、ＦＤＡ１６２ａにより主画素撮像信号を増幅させ、ＦＤＡ１６２ｂにより副画素撮像信号を増幅させればよい。
【００５２】
ＦＤＡ１６２ａ、１６２ｂは、周知のように、逆バイアスをかけた状態のＰＮ結合ダイオードのＮ型領域が、電気的に浮遊状態となり、電荷が転送されてくるとＮ型領域の容量に応じてその両端の電圧が変化するといった原理に基づき、この電圧変化を、入力インピーダンスの高いＭＯＳトランジスタを用いたソース・フォロワで増幅して出力するものであり、各画素に蓄積された電荷を電圧信号として取得するとともに、取得した電圧信号の増幅を行う。ＦＤＡ１６２ａ、１６２ｂは、Ｎ型領域の容量に応じてゲインが変化するので、各ＦＤＡ１６２ａ、１６２ｂのＮ領域の容量を調節し、増幅後の信号レベルが等しくなるように、ＦＤＡ１６２ａが主画素撮像信号を増幅する際のゲイン、及び、ＦＤＡ１６２ｂが副画素撮像信号を増幅する際のゲインをそれぞれ決定すればよい。このような構成にしても上記実施形態と同様の効果を得ることができる。
【００５３】
なお、本例では、主画素に蓄積された電荷を転送するための転送路と、副画素に蓄積された電荷を転送するための転送路とを独立に設け、主画素撮像信号と副画素撮像信号のそれぞれを増幅する２つのアンプ、もしくは、２つのＦＤＡを設ける例で説明をしたが、本発明はこれに限定されるものではない。例えば、図１０に示すＣＣＤ１６５ように、主画素３６ａに蓄積された電荷と副画素３６ｂに蓄積された電荷を共通の転送路１６７により転送してもよい。
【００５４】
転送路１６７は、垂直転送路１６７ａと水平転送路１６７ｂとからなり、主画素１３６ａ、副画素１３６ｂのそれぞれに蓄積された電荷を、垂直転送路１６７ａにより垂直方向に転送した後、水平転送路１６７ｂにより１ラインずつ水平方向に転送する。転送路１６７には、可燃ゲイン型のＦＤＡ１７２が接続されている。ＦＤＡ１７２は、増幅後の信号レベルが等しくなるように、主画素１３６ａから読み出された主画素撮像信号と、副画素１３６ｂから読み出された副画素撮像信号とを異なるゲインで増幅する。このような構成にしても上記実施形態と同様の効果を得ることができる。
【００５５】
また、本例では可変ゲイン型のＦＤＡを設ける例で説明をしたが、可変ゲイン型のアンプを用いてもよい。また、主画素からの電荷を転送する転送路と、副画素からの電荷を転送する転送路とを別々に設け、２つの転送路を１つの可変ゲイン型のＦＤＡ、もしくは、１つの可変ゲイン型のアンプに接続するといったことも考えられる。
【００５６】
なお、上記実施形態では、１つの画素内に主画素と副画素とを設ける例で説明をしたが、主画素と副画素とを独立に設けてもよい。
【００５７】
また、上記実施形態では、主画素と副画素とを１対１で対応させ、対応した画素同士の輝度階調値を合成することで合成画像データを生成する例で説明をしたが、例えば、図１１に示すように、４つの主画素１７６に対して１つの副画素１７７を設けたものを１つのセルとし、このセルを複数配列してＣＣＤを構成してもよい。この場合、１つの副画素１７７から得られる輝度階調値を、この副画素１７７と同じセル内に配置された４つの主画素１７６から得られる輝度階調値のそれぞれと合成することで合成画像データを生成すればよい。このように、主画素と副画素の数が異なっていても、本発明は実施可能である。
【００５８】
また、上記実施形態では、主画素が副画素に対し、感度が１６倍、飽和レベルが４倍である例で説明をしたが本発明はこれに限定されるものではない。主画像及び副画素の構成は適宜変更できる。
【００５９】
なお、上記実施形態では、撮像装置としてデジタルカメラを例に説明をしたが、カメラ付き携帯電話や、ビデオカメラ、スキャナなどの撮像装置に対して本発明を適用してもよい。
【図面の簡単な説明】
【００６０】
【図１】デジタルカメラの外観斜視図である。
【図２】デジタルカメラの構成を示すブロック図である。
【図３】ＣＣＤの構造を概略的に表した説明図である。
【図４】主画素と副画素との間の飽和レベル及び感度の違いを表す図表である。
【図５】合成画像データの生成手順を示すフローチャートである。
【図６】デジタルカメラの構成を示すブロック図である。
【図７】ＣＣＤの構造を概略的に表した説明図である。
【図８】合成画像データの生成手順を示すフローチャートである。
【図９】アンプを一体化したＣＣＤの構造を概略的に表した説明図である。
【図１０】主画素と副画素に蓄積された電荷を共通の転送路にて転送するＣＣＤの構造を概略的に表した説明図である。
【図１１】主画素と副画素の数を異ならせた例を表す説明図である。
【図１２】被写体輝度と画素の電荷蓄積量との関係を表す図表である。
【符号の説明】
【００６１】
１０、１１０  デジタルカメラ
２３  ＣＰＵ
３５、１３５、１４５、１６５  ＣＣＤ
３６  画素
３６ａ、１７６  主画素
３６ｂ、１７７  副画素
４１、１４１  アナログ信号処理回路
４２  アンプ
４４  Ａ／Ｄコンバータ
４５  セパレータ
４７  アッテネータ
６１、１６１  デジタル信号処理回路
１４２  信号増幅器
１４２ａ  第１アンプ
１４２ｂ  第２アンプ
１６２ａ、１６２ｂ、１７２  ＦＤＡ
【図１】
2006238410.tif 000003
【図２】
2006238410.tif 000004
【図３】
2006238410.tif 000005
【図４】
2006238410.tif 000006
【図５】
2006238410.tif 000007
【図６】
2006238410.tif 000008
【図７】
2006238410.tif 000009
【図８】
2006238410.tif 000010
【図９】
2006238410.tif 000011
【図１０】
2006238410.tif 000012
【図１１】
2006238410.tif 000013
【図１２】
2006238410.tif 000014