(57)【要約】【課題】広ダイナミックレンジ化した撮像信号処理を行う場合でも固体撮像素子の信号読み出しを高速化する信号処理装置およびその方法を提供。【解決手段】ディジタルカメラ10に備えられた信号処理回路18は、それぞれ感度が異なる主画素と副画素とを有する固体撮像素子14の出力に対して、あらかじめ保持しておいた主画素および副画素の各感度と主画素の飽和量とに基づいて、固体撮像素子14から主画素と副画素とが混合して高速に読み出された画素信号を主画素値と副画素値とに分離して、それぞれに分離された主画素値および副画素値に基づいて広ダイナミックレンジ化した画像信号を生成する。【選択図】図１
2006270394.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ感度が異なる主画素および副画素にて一つの組画素を形成する固体撮像素子の出力信号を処理する信号処理装置において、該装置は、
前記主画素の第１の感度を保持する第１の保持手段と、
前記副画素の第２の感度を保持する第２の保持手段と、
前記主画素の飽和量を保持する第３の保持手段と、
前記第１および第２の感度と前記飽和量とに基づいて、前記固体撮像素子から前記主画素と前記副画素とが混合して読み出された画素信号から、前記主画素および前記副画素のそれぞれの画素値を前記組画素ごとに算出する演算手段とを含むことを特徴とする信号処理装置。
【請求項２】
それぞれ感度が異なる主画素および副画素にて一つの組画素を形成する固体撮像素子の出力信号を処理する信号処理方法において、該方法は、
前記主画素の第１の感度を保持する第１の工程と、
前記副画素の第２の感度を保持する第２の工程と、
前記主画素の飽和量を保持する第３の工程と、
前記第１および第２の感度と前記飽和量とに基づいて、前記固体撮像素子から前記主画素と前記副画素とが混合して読み出された画素信号から、前記主画素および前記副画素のそれぞれの画素値を前記組画素ごとに算出する演算工程とを含むことを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像信号を信号処理する信号処理装置およびその方法に係り、たとえばそれぞれ感度が異なる主画素および副画素にて一つの組画素を形成する固体撮像素子の出力信号を処理する信号処理装置およびその方法に関するものである。
【背景技術】
【０００２】
被写体像を固体撮像素子に結像させて撮像するディジタルカメラが知られている。このようなカメラにて採用される固体撮像素子では、広ダイナミックレンジの撮像を行うことができるＣＣＤ撮像素子が開発されている。
【０００３】
特許文献１には、半導体基板上に多数の画素が形成された固体撮像装置が開示されている。その固体撮像装置の各画素は、相対的に広い面積を有する主感光部と相対的に狭い面積を有する従感光部とを含んで、主感光部、従感光部のいずれからも選択的に画像信号を取り出す。このような構成により解像度を高くしてまた感度の低下を抑制している。また、従感光部に入射する面積あたりの光量は少なくなり、強い光が従感光部に入射しても飽和しにくく、広いダイナミックレンジが得られる。
【特許文献１】特開２００３−２１８３４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、広ダイナミックレンジの撮像を行う場合には、特許文献１に記載された固体撮像装置を使用する場合において、主感光部による主画素と従感光部による副画素とを２回に分けて読み出し、それぞれ別に読み出した主画素と副画素との各出力信号を広ダイナミック化する合成処理を行う必要があった。この２回の信号読み出しのために、固体撮像素子の読み出しに時間がかかり、読み出し時間を短縮化することが困難であった。
【０００５】
本発明はこのような従来技術の欠点を解消し、広ダイナミックレンジ化した撮像信号処理を行う場合でも固体撮像素子の信号読み出しを高速化することのできる信号処理装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上述の課題を解決するために、それぞれ感度が異なる主画素および副画素にて一つの組画素を形成する固体撮像素子の出力信号を処理する信号処理装置において、この装置は、主画素の第１の感度を保持する第１の保持手段と、副画素の第２の感度を保持する第２の保持手段と、主画素の飽和量を保持する第３の保持手段と、第１および第２の感度と飽和量とに基づいて、固体撮像素子から主画素と副画素とが混合して読み出された画素信号から、主画素および副画素のそれぞれの画素値を組画素ごとに算出する演算手段とを含むことを特徴とする。
【０００７】
さらに本発明は上述の課題を解決するために、それぞれ感度が異なる主画素および副画素にて一つの組画素を形成する固体撮像素子の出力信号を処理する信号処理方法において、この方法は、主画素の第１の感度を保持する第１の工程と、副画素の第２の感度を保持する第２の工程と、主画素の飽和量を保持する第３の工程と、第１および第２の感度と飽和量とに基づいて、固体撮像素子から主画素と副画素とが混合して読み出された画素信号から、主画素および副画素のそれぞれの画素値を組画素ごとに算出する演算工程とを含むことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、主画素と副画素とにて得られる撮像信号の広ダイナミックレンジ化処理を行う場合であっても、組画素単位で同時に固体撮像素子から読み出すことができ、主画素と副画素とを別々に２回に分けて固体撮像素子から読み出す場合と比べて、主画素または副画素のみを単独で読み出す場合と同等の高速な読み出し時間に短縮化することができ、広ダイナミックレンジ化処理を従来よりも短時間で行うことができる。
【発明を実施するための最良の形態】
【０００９】
次に添付図面を参照して本発明による信号処理装置およびその方法が適用された実施例を詳細に説明する。図１を参照すると、本発明が適用された実施例のディジタルカメラ10のブロック図が示されている。
【００１０】
ディジタルカメラ10は、ズームレンズ等の撮像レンズ12によって結像される被写界像を固体撮像素子14にて光電変換し、固体撮像素子14から出力される画素信号をアナログ回路16および信号処理回路18にて処理して、処理された信号を記録回路20に出力してたとえば半導体メモリ等の情報記憶媒体に記憶させる。
【００１１】
撮像レンズ12の結像面に配置される固体撮像素子14は、カラーCCD（電荷結合素子）等のイメージセンサが有利に適用される。本実施例における固体撮像素子14は、垂直CCDと水平CCDとの間に信号電荷をライン単位で選択的に排出するＶドレイン構造を配置している。固体撮像素子14は、垂直CCDを転送される信号電荷を水平CCDにＶドレインにてライン単位で排出することにより垂直走査方向にライン間引きをして画素信号を読み出すライン間引き読出機能と、ライン間引きをしないで画素信号を読み出す全画素読出機能とを有している。
【００１２】
固体撮像素子14は、駆動回路22から供給される垂直および水平転送クロックおよび各種制御電圧等の駆動信号24により駆動されて、撮像面に配置されているフォトダイオードにて受光および生成した信号電荷をラインシフトし、間引きされていないラインの画素信号を読み出してその出力24に出力する。なお、撮像レンズ12と固体撮像素子14との間にはシャッタおよび絞りが備えられているがその図示を省略している。また、駆動回路22は撮像レンズ12の焦点位置を調節する駆動信号26を生成して撮像レンズ12を制御する機能を有している。駆動回路22は、制御回路30の制御の下でこれら駆動信号24,26を生成する。
【００１３】
本実施例における固体撮像素子の画素構成例を図２に示す。同図には、固体撮像素子14の一部の画素を示す平面図が示されている。図示するように相対的に広い面積を有して主たる感光部を構成する主画素200と、相対的に狭い面積を有して従たる感光部を構成する副画素202とが１つの画素として配置された組画素204が各垂直転送路206間に配置されている。これら主画素200および副画素202は、それぞれフォトダイオードにて形成されており、主画素200および副画素202は、駆動回路22（図１）から与えられる駆動信号に応じて隣接する垂直転送路に別々に読み出しすることができる。また、主画素と副画素とを混合して同時に垂直転送路に読み出すことが可能である。なお、組画素204は、いわゆるハニカム構造の画素配列が採用されている。
【００１４】
図１に戻って、固体撮像素子14の出力32に接続されたアナログ回路16は、入力される画素信号を相関二重サンプル(CDS)および自動利得制御(AGC)するアナログ信号処理回路である。アナログ回路16の出力34は信号処理回路18に接続されている。
【００１５】
信号処理回路18は、アナログ回路16の出力34を、たとえばγ補正、ホワイトバランス調整および画素補間処理等の信号処理をディジタルにて行って画像データを生成するディジタル信号処理回路である。信号処理回路18の入力側には不図示のアナログ−ディジタル変換回路が備えられている。
【００１６】
本実施例における信号処理回路18は、色成分を有するカラー画素信号をそれぞれ輝度および色差成分からなる各輝度および色差信号を生成する機能を有している。本ディジタルカメラ10にて自動焦点調節(AF)および自動露出調整を行う際に、信号処理回路18は、処理された画素信号から輝度信号を生成し、AF用よび自動露出用の輝度信号を接続線36を介して制御回路30に供給する。
【００１７】
さらに信号処理回路18は、固体撮像素子14から主画素200と副画素202とが混合して読み出された画素信号を処理して広ダイナミックレンジの画像信号を生成する機能を有しているが、この機能構成については後述する。
【００１８】
信号処理回路28は、ディジタル信号処理を行って生成した画像データを出力38に接続された記録回路20に供給する。記録回路20は信号処理回路18にて処理された画像データを情報記録媒体に記録する回路である。本記録回路20に画像データを圧縮符号化する処理回路を備え、撮像により得られた画像データの情報量を圧縮する機能を有している。
【００１９】
制御回路30は、操作部40から与えられるレリーズ信号等の各種指示信号に応動してディジタルカメラ10の各構成を制御する回路である。制御回路30は、信号処理回路18から与えられる画像データから表示用のデータを生成して生成したデータを表示回路42に供給する。
【００２０】
駆動回路22は、制御回路30の制御を受けて、撮像レンズ12および固体撮像素子14を駆動する駆動信号をそれぞれ生成する回路である。駆動回路16は、固体撮像素子14の主画素200と副画素202とにてそれぞれ生成される信号電荷を別々に読み出して、固体撮像素子14から主画素信号と副画素信号とを順次出力させる駆動信号を生成する機能と、主画素200と副画素202とにて生成される信号電荷を同時に混合して読み出して、これら混合された組画素信号を固体撮像素子14から出力させる駆動信号を生成する機能とを有している。この組画素信号を読み出す際に駆動回路22は、フォトダイオードから垂直転送路に信号電荷を読み出す際に、通常よりも高電圧のシフト電圧を印可することにより実現される。
【００２１】
図３および図４には、駆動回路22による固体撮像素子14の動作タイミングを示すタイミングチャートが示されている。図３ではシャッタが開放して閉じるまでの露光期間の後、駆動回路24から固体撮像素子14に供給されるトリガTGaに応動して主画素の読み出し期間が発生し、その後のトリガTGbに応動して副画素の読み出し期間が発生する。これにより主画素200と副画素202とが別個に読み出される。次に図４を参照すると、シャッタが開放して閉じるまでの露光期間の後、駆動回路24から固体撮像素子14に供給されるトリガTGに応動して主画素および副画素の読み出し期間が発生して、主画素200と副画素202とが混合されて同時に読み出される。これら駆動信号の切り替えは制御回路30の制御に応じて行われる。
【００２２】
次に、信号処理回路18による広ダイナミックレンジ処理を図５を参照して説明する。以下では、主画素200と副画素202とを混合して同時に固体撮像素子14から読み出された出力Ｙに対して、主画素200の出力Yaと副画素の出力Ybとを求める。
【００２３】
主画素200の露光量に対する出力の傾き（感度）を傾きａ、主画素200の飽和量を飽和量ｃとし、副画素202の露光量に対する出力の傾き（感度）を傾きｂとする。これらの値は固体撮像素子14に応じて固有の値であり、あらかじめ信号処理回路18に設定しておくことができる。このため信号処理回路18は、主画素200の感度ａと、主画素200の飽和量ｃと、副画素202の感度ｂとを格納して保持しておく記憶領域を有するメモリが備えられている。なお、これら値の記憶保持場所として制御回路30にメモリを備えてもよい。
【００２４】
次に主画素200の出力値をYaとし、副画素202の出力値をYbとし、主画素200および副画素202の混合同時読み出しによる出力が出力Ｙとして、撮像時の露光量を露光量ｘとする。
Ｙ＝Ｙａ＋Ｙｂ      ・・・(1)
Ｙａ＝ａｘ  （ａｘ＜＝ｃのとき）      ・・・(2)
Ｙａ＝ｃ  （ａｘ＞＝ｃのとき）      ・・・(3)
Ｙｂ＝ｂｘ      ・・・(4)
が成り立つ。
【００２５】
主画素200と副画素202とを混合して読み出したときの出力Ｙは、
Ｙ＝ａｘ＋ｂｘ  （ａｘ＜＝ｃのとき）      ・・・(5)
Ｙ＝Ｃ＋ｂｘ  （ａｘ＞＝ｃのとき）      ・・・(6)
である。
【００２６】
したがって、
ｘ＝Ｙ／（ａ＋ｂ）  （ａｘ＜＝ｃのとき）      ・・・(7)
ｘ＝（Ｙ−ｃ）／ｂ  （ａｘ＞＝ｃのとき）      ・・・(8)
式(7)を式(2)に代入して、
Ｙａ＝ａ｛Ｙ／（ａ＋ｂ）｝  （ａｘ＜＝ｃのとき）      ・・・(9)
式(7)を式(4)に代入して、
Ｙｂ＝ｂ｛Ｙ／（ａ＋ｂ）｝      ・・・(10)
Ｙａ＝ｃ      ・・・(11)
Ｙｂ＝ｂ｛（Ｙ−ｃ）／ｂ｝＝Ｙ−ｃ      ・・・(12)
となる。
【００２７】
ところで、ａｘ＝ｃのとき、ｘ＝ｃ／ａとなるから式(6)より、
Ｙ＝ｃ＋ｂｘ＝ｃ＋ｂｃ／ａ      ・・・(13)
つまり、Ｙ＜＝ｃ＋ｂｃ／ａのときに式(9)が成立し、Ｙ＞＝ｃ＋ｂｃ／ａのとき式(11)が成立する。
【００２８】
したがって、各画素の感度ａおよびｂと主画素200の飽和量ｃと出力Ｙとから主画素200の出力Ｙａと副画素202の出力Ｙｂとを信号処理回路18の演算処理により算出して分離することができる。信号処理回路18はこのようにして組画素204単位で組画素204ごとに算出した主画素値と副画素値との各データを主副画素の感度比に応じてダイナミックレンジ化する合成処理を行うことにより、広ダイナミックレンジの画像データを算出することができる。
【００２９】
信号処理回路18にて広ダイナミックレンジ化された組画素204単位の画素データはさらに信号補間処理や圧縮符号化処理等の処理が施されてその出力38に出力される。
【００３０】
このように、あらかじめ各主画素200と各副画素202との光学感度と、主画素200の飽和データとを取得して格納し、主画素200および副画素202を混合して読み出してメモリに展開する際に、主画素200の値と、副画素202の値とに分割処理して、それぞれ分割した主画素値と副画素値とをそれぞれ出力する。その後、主画素値と副画素値と光学感度と、飽和データとを用いて、広ダイナミックレンジの画像信号を生成する広ダイナミックレンジ処理を行う。こうして広ダイナミックレンジ処理を行う撮像処理にもかかわらず、固体撮像素子14からの読み出し時間を高速化して、高速な信号処理を行うことができる。また、固定パターンノイズがキャンセルされて高画質が実現される。
【図面の簡単な説明】
【００３１】
【図１】本発明が適用されたディジタルカメラの実施例を示すブロック図である。
【図２】固体撮像素子の主画素および副画素の配置を示す平面図である。
【図３】主画素と副画素とを別々に読み出す際の動作を示すタイミングチャートである。
【図４】主画素と副画素とを同時に読み出す際の動作を示すタイミングチャートである。
【図５】図１に示す信号処理回路による広ダイナミックレンジ処理を説明するグラフである。
【符号の説明】
【００３２】
10  ディジタルカメラ
14  固体撮像素子
16  アナログ回路
18  信号処理回路
22  駆動回路
30  制御回路
40  操作部
【図１】
2006270394.tif 000003
【図２】
2006270394.tif 000004
【図３】
2006270394.tif 000005
【図４】
2006270394.tif 000006
【図５】
2006270394.tif 000007