(57)【要約】【課題】OBレベルを使用しないで、黒レベル等の基準レベルを求めて、いわゆるOB段差を排除して、正確な基準レベル補正を可能とする固体撮像装置および撮像方法を提供する。【解決手段】入射光が集光する集光面に入射光を光電変換する主画素と副画素が対になって配され、主画素と副画素の出力信号から画像信号を生成するとともに、主画素と副画素の出力信号の黒レベルを設定するデジタルスチルカメラ10において、主画素は光電感度が高く、副画素は低い。信号処理部114は、主画素と副画素の出力信号から黒レベルを決定し、決定された黒レベルにより、主画素と副画素の出力信号を補正する。【選択図】図１
2007228152.tif 000002
【特許請求の範囲】
【請求項１】
入射光が集光する集光面に該入射光を光電変換する複数の受光素子が配され、該受光素子の出力信号から画像信号を生成するとともに、該出力信号の基準レベルを設定する固体撮像装置において、
前記受光素子には、少なくとも２種類の、光電感度特性が異なる第１の受光素子と第２の受光素子とがあり、
該装置は、第１および第２の受光素子の出力信号から前記基準レベルを決定するレベル決定手段と、
該決定された基準レベルにより、第１および第２の受光素子の出力信号を補正する補正手段とを含むことを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の固体撮像装置において、前記レベル決定手段は、第１および第２の受光素子における前記基準レベルは同一であるとして、該基準レベルを決定することを特徴とする固体撮像装置。
【請求項３】
請求項１に記載の固体撮像装置において、前記レベル決定手段は、第１および第２の受光素子における前記基準レベルは異なることがありうるとして、該基準レベルを決定することを特徴とする固体撮像装置。
【請求項４】
請求項１から３までのいずれかに記載の固体撮像装置において、前記レベル決定手段は、前記集光面内の特定の領域に含まれる第１および第２の受光素子の出力信号から、前記基準レベルを決定し、
前記補正手段は、該基準レベルを用いて、第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。
【請求項５】
請求項１から３までのいずれかに記載の固体撮像装置において、前記レベル決定手段は、前記集光面を複数の領域に分割し、該領域ごとに、該領域に含まれる第１および第２の受光素子の出力信号から、前記基準レベルを決定し、
前記補正手段は、該領域ごとの基準レベルを用いて、該領域ごとに第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。
【請求項６】
請求項４または５に記載の固体撮像装置において、
前記入射光を三原色赤緑青にそれぞれ色分解する色フィルタが前記受光素子に対して配されており、
前記レベル決定手段は、前記領域における前記基準レベルを、三原色赤緑青ごとに決定し、
前記補正手段は、三原色赤緑青ごとに決定された基準レベルを用いて、該領域における第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。
【請求項７】
請求項１から３までのいずれかに記載の固体撮像装置において、
第１および第２の受光素子は、対を構成しており、
前記レベル決定手段は、各対ごとに、該対に含まれる第１および第２の受光素子の出力信号から、前記基準レベルを決定し、
前記補正手段は、該対ごとの基準レベルを用いて、該対ごとに第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。
【請求項８】
請求項１から７までのいずれかに記載の固体撮像装置において、前記レベル決定手段は、露光時間を考慮して、前記基準レベルを決定することを特徴とする固体撮像装置。
【請求項９】
請求項１から８までのいずれかに記載の固体撮像装置において、前記補正手段は、露光時間を考慮して、第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。
【請求項１０】
入射光が集光する集光面に２次元的に配された複数の受光素子が該入射光を光電変換し、該受光素子の出力信号から画像信号を生成するとともに、該出力信号の基準レベルを設定する撮像方法において、
前記受光素子として、少なくとも２種類の、光電感度特性が異なる第１の受光素子と第２の受光素子とを前記集光面に配する工程と、
第１および第２の受光素子の出力信号から前記基準レベルを決定する工程と、
該決定された基準レベルにより、第１および第２の受光素子の出力信号を補正する工程とを含むことを特徴とする撮像方法。
【請求項１１】
請求項10に記載の撮像方法において、第１および第２の受光素子における前記基準レベルは同一であるとして、該基準レベルを決定することを特徴とする撮像方法。
【請求項１２】
請求項10に記載の撮像方法において、第１および第２の受光素子における前記基準レベルは異なることがありうるとして、該基準レベルを決定することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射光を電気信号に変換して被写界の像を装置に取り込む固体撮像装置および撮像方法に関し、とくに、黒レベル等を精度よく決定できるものであり、電子スチルカメラ装置、画像入力装置、ムービカメラ、携帯電話等に用いて好適なものである。
【背景技術】
【０００２】
光電変換素子によって撮像し、電荷結合素子（以下、CCDという）や金属酸化膜半導体(以下、MOSという)を用いて信号の転送を行う撮像装置では、映像の黒レベルを一定値にクランプするために、光電変換素子の信号出力の黒レベル補正を行う。すなわち、集光面の一部に設けられた光電変換素子（オプティカルブラック）の出力信号を求め、それを黒レベルとして、オプティカルブラック以外の有効画素領域にある光電変換素子の出力信号を補正することにより、黒レベル補正が行われてきた。
【０００３】
これは、たとえば特許文献１に開示されている。特許文献１は、CCDを用いて信号の転送を行うデジタルカメラにおいて、オプティカルブラックを用いて黒レベルを求めることを開示する。
【特許文献１】特開平9-326962号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来は、光電変換素子の出力信号に対して黒レベル補正を行うために、オプティカルブラックの信号を黒レベル（OBレベル）として求め、光電変換素子の出力信号を補正していた。
【０００５】
しかし、有効画素領域の光電変換素子の実際の黒レベルは、OBレベルとレベル段差（OB段差）を持っており、そのレベル段差は、素子温度や露光時間により一定とならない場合があった。このため、とくに長時間露光時の黒レベルは、実際の黒レベルに対して誤差を有し、正確な補正が不可能であった。
【０００６】
本発明はこのような課題に鑑み、OBレベルを使用しないで、黒レベル等の基準レベルを求めて、上記OB段差を排除して、正確な基準レベル補正を可能とする固体撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上述の課題を解決するために、入射光が集光する集光面に入射光を光電変換する複数の受光素子が配され、受光素子の出力信号から画像信号を生成するとともに、出力信号の基準レベルを設定する固体撮像装置において、受光素子には、少なくとも２種類の、光電感度特性が異なる第１の受光素子と第２の受光素子とがあり、装置は、第１および第２の受光素子の出力信号から基準レベルを決定するレベル決定手段と、決定された基準レベルにより、第１および第２の受光素子の出力信号を補正する補正手段とを含むこととしたものである。
【０００８】
これにより、第１および第２の受光素子、たとえば感度の高い主感光画素と感度の低い副感光画素の撮影データのみから、演算によりたとえば黒レベルを算出することができ、OBレベルを使用せずに、正確な黒レベルを算出できる。
【０００９】
さらに、第１および第２の受光素子の基準レベルが同等と考えられる場合、レベル決定手段は、第１および第２の受光素子における基準レベルは同一であるとして、基準レベルを決定することができる。
【００１０】
第１および第２の受光素子の基準レベルが異なると考えられる場合、レベル決定手段は、第１および第２の受光素子における基準レベルは異なることがありうるとして、基準レベルを決定することもできる。
【００１１】
なお、レベル決定手段は、集光面内の特定の領域に含まれる第１および第２の受光素子の出力信号から、基準レベルを決定することができる。すなわち、有効画素領域における黒レベルが、集光面全体でほぼ均一であるとして、特定領域の情報、たとえば、画面の中心領域の黒レベルの平均値を使用して、黒レベルの決定を行う。
【００１２】
また、レベル決定手段は、集光面を複数の領域に分割し、領域ごとに、領域に含まれる第１および第２の受光素子の出力信号から、基準レベルを決定し、基準レベルの決定を領域ごとに行うこともできる。補正手段は、領域ごとの基準レベルを用いて、領域ごとに第１および第２の受光素子の出力信号を補正する。
【００１３】
このように、受光素子を領域に区分して、領域単位で、補正を行えば、ダークシェーディング補正も同時に可能である。なお、領域境界では、隣接する領域のデータを用いて、補間処理を行ってもよい。
【００１４】
ダークシェーディング補正とは、画像の周辺で絵が暗くなる周辺光量低下というレンズの特性を補正することをいう。レンズは、周辺にいくほど光量が低下する性質を持っているからである。光量低下は、画角の大きい広角レンズほど大きく、画角の小さい望遠レンズほど小さくなる。
【００１５】
ところで、入射光を三原色赤緑青にそれぞれ色分解する色フィルタが受光素子に対して配されている場合、レベル決定手段は、領域における基準レベルを、三原色赤緑青ごとに決定し、補正手段は、三原色赤緑青ごとに決定された基準レベルを用いて、領域における第１および第２の受光素子の出力信号を補正することとしてもよい。すなわち、RGB画素の黒レベル等の基準レベルを一定としてもよいし、RGB画素の黒レベルをそれぞれ独立に補正してもよい。
【００１６】
また、第１および第２の受光素子が、対を構成している場合、レベル決定手段は、各対ごとに、対に含まれる第１および第２の受光素子の出力信号から、基準レベルを決定し、補正手段は、対ごとの基準レベルを用いて、対ごとに第１および第２の受光素子の出力信号を補正することができる。たとえば、各１個の第１および第２の受光素子により、１画素が構成されている場合、黒レベル補正のための黒レベル算出を各画素ごとに行うことができる。画素単位で行えば、転送路起因の傷に起因する画像の不良部分、これは主に縦筋であるが、これの補正およびダークシェーディング補正も、黒レベル補正と同時に可能である。
【００１７】
なお、レベル決定手段は、露光時間を考慮して、基準レベルを決定することとしてもよい。たとえば、露光時間の長さを考慮して、基準レベルを決定することができる。
【００１８】
さらに、補正手段も、露光時間を考慮して、第１および第２の受光素子の出力信号を補正することができる。たとえば、処理時間削減のため、本発明に従った黒レベル捕正を長時間露光の場合のみ行うこととしてもよい。すなわち、黒レベル補正が効果的である長時間露光時のみに限って、黒レベル補正を行ってもよい。通常露光時は、従来の方法で黒レベル補正を行ってもよい。
【発明の効果】
【００１９】
本発明によれば、OBレベルを使用せずに、異なる感度を有する受光素子の撮影データから黒レベル等の基準レベルの補正量を決定するため、既述のOB段差等の誤差要因を排除可能であり、正確な黒レベル補正等が可能となる。
【発明を実施するための最良の形態】
【００２０】
次に添付図面を参照して本発明による固体撮像装置および撮像方法の実施例を詳細に説明する。
【００２１】
本実施例の固体撮像装置では、入射光が集光する集光面に入射光を光電変換する複数の受光素子が２次元的に配され、受光素子の出力信号から画像信号を生成するとともに、出力信号の基準レベルを設定する。受光素子には、２種類の、光電感度特性が異なる主画素と副画素とがあり、装置は、主画素と副画素の出力信号から黒レベルを決定するレベル決定手段と、決定された基準レベルにより、主画素と副画素の出力信号を補正する補正手段とを含む。
【００２２】
レベル決定手段は、主画素と副画素における黒レベルは同一であるとして、黒レベルを決定する。レベル決定手段は、集光面内の中心領域に含まれる主画素と副画素の出力信号から、黒レベルを決定し、補正手段は、黒レベルを用いて、主画素と副画素の出力信号を補正する。
【００２３】
この固体撮像装置をデジタルスチルカメラ10に適用した場合について図１〜図８を参照しながら説明する。デジタルスチルカメラ10には、図１に示すように、撮像系10A、信号処理系10B、駆動信号生成部10C、信号出力系10D、モード指定部10Eおよびシステム制御部12が備えられている。以下では、本発明に直接関係のない部分の説明は省略する。
【００２４】
撮像系10Aには、撮像レンズ102、撮像部104、および絞り機構を含むAE調整部108が備えられている。この他、図示しないが撮像部104の入射光の側に入射光を完全に遮光するためのシャッタ機構がある。撮像レンズ102は、被写界からの入射光を撮像部104の受光面上に焦点を結ぶように集光する光学系である。
【００２５】
撮像部104では、入射光を光電変換する主画素140および副画素142が受光面を形成しており、図２に示すように主画素140および副画素142は行方向および列方向に２次元配列されている。図２は、主画素140、副画素142、色フィルタ、および垂直転送路144の配置を示す模式図である。
【００２６】
受光素子には、本実施例では、光電感度特性の高い主画素140と、光電感度特性の低い副画素142の２種類がある。主画素140は副画素142よりも受光面積が大きい。主画素140および副画素142は、２次元の縦方向において交互に配置される。主画素140およびその上にある副画素142により１画素が構成される。たとえば、主画素R1およびその上にある副画素R4により１画素が構成される。
【００２７】
入射光量が適切なときは、主画素140の出力信号のみで、画像を生成することができ、入射光量が多いときは、副画素142の出力信号を主画素140の出力信号に加算することにより、ダイナミックレンジを広げることができる。
【００２８】
なお、光電感度特性の高低は、本実施例のように受光面積の大きさで調整する方法以外に、受光素子の前面に設けた膜の光透過性を変える方法、受光素子の前面に設けるマイクロレンズによる集光能力を変える方法等がある。
【００２９】
撮像部104には、主画素140および副画素142より入射光の側に入射光を色分解する色フィルタ（色分解フィルタ）CFを設ける。色分解フィルタCFは、主画素140および副画素142のそれぞれに対応しており、主画素140および副画素142と一体的に形成されている。色分解フィルタCFの配設により、主画素140および副画素142には、三原色RGBに色分解された入射光が入射することになる。色分解フィルタCFは一体的に形成されているので、図２では、各主画素140および副画素142に三原色RGBのうちのいずれを割り当てたかを示すために、各主画素140および副画素142内に、三原色RGBを示す記号R、G、Bを図示した。
【００３０】
縦方向に隣接する主画素R1、B5、G1、G5、B1、R5と、副画素R4、B8、G4、G8、B4、R8は、それぞれペアを形成する。ペアを形成する受光素子の色フィルタは同一色である。なお、受光素子R1、B5等の参照符号に含まれる数字1〜8は、後述する垂直転送電極の識別番号と対応する。
【００３１】
本実施例では、緑色であるペアは、縦方向の１列全体に配され、この緑色である列は、一列おきに配され、赤色および青色であるペアは、残りの列に、縦方向および横方向において交互に配される。ペアにより１つの画素が形成され、画素について見ると、図２の色フィルタCFの配列は、GストライプRB完全市松である。
【００３２】
さらに撮像部104の構成を説明する。撮像部104は、後述する駆動信号生成部10Cから出力される駆動信号に応動する。主画素140および副画素142と、主画素140および副画素142に隣接配設された転送素子、すなわち垂直転送素子との間に、受光して変換した信号電荷を垂直転送素子に読み出すための信号読出しゲート（トランスファゲート）146が形成されている。
【００３３】
信号読出しゲート146は、電極を介して供給されるフィールドシフトパルスにより、信号電荷を主画素140および副画素142から垂直転送路144に転送する。垂直転送路144は、読み出した信号電荷を列方向、すなわち垂直方向に順次転送する。垂直転送路144は、CCDで構成されている。なお、本発明は、信号の転送にMOSを用いた撮像素子にも適用可能である。
【００３４】
垂直転送により、信号電荷のラインシフトが行われ、最終的に行方向の転送素子、すなわち水平転送路148に供給される。水平転送路148は、駆動信号に応動してこの信号電荷を、アンプ150を介して前述したように信号処理系10Bに出力する。
【００３５】
ところで、４相もしくは８相の駆動信号を用いて垂直方向に信号電荷の転送を行う場合、信号電荷の混合を防ぐためには、主画素140および副画素142から垂直転送路144に信号電荷の読出しを行う間隔として、信号電荷が読み出される隣接する転送素子の間に、信号電荷が読み出されない転送素子が３個必要である。
【００３６】
また、全画素を読み出すとき、インタレースしてすべての主画素140および副画素142から信号電荷を読み出す。これらのことを考慮して、主画素140および副画素142と垂直転送路144との間に配される信号読出しゲート146を図２に示すように配置する。
【００３７】
インタレースで全画素を読み出すときは、たとえば、第１フィールドでは、垂直転送素子V1、V5に接続された主画素140から読み出し、第２フィールドでは、垂直転送素子V4、V8に接続された副画素142から読み出す。この際に、読出し部が図２のように配置されているため、読み出された信号電荷が混合することはない。
【００３８】
静止画撮影時、被写体の輝度が主画素140でカバーできる範囲にあるときは、主画素140のデータのみから映像信号を生成する。被写体の輝度が主画素140でカバーできない範囲にあるときは、主画素140および副画素142のデータから映像信号を生成する。たとえば主画素140のデータと副画素142のデータを加算して、ダイナミックレンジを広げることができる。撮像部104の基本的な構成は以上の通りである。
【００３９】
AE調整部108は、被写体を含む被写界の測光値の算出が行われるシステム制御部12内に設けられる露光制御部（図示せず）からの制御により絞り機構の絞り位置を変位させ、入射する光束量を調整する。測光は、撮像信号の一部を用いている。この場合もシステム制御部12で測光値に基づいて露光量が算出され、この露光量になるように絞り値とシャッタ速度値(露光時間)を制御する制御信号をAE調整部108に供給する。算出された露光時間に従って、黒レベルの決定や黒レベル補正を選択することができる。これについては、後述する。AE調整部108は、この制御信号に応じて絞り機構およびシャッタ機構をそれぞれ調整している。この調整により露出を最適にすることができる。
【００４０】
システム制御部12で測光値に基づいて露光量が算出されると、さらに、受光素子140がカバーする範囲内にあるかどうかが判断され、カバーする範囲内にあるときは、後述する信号処理部114は、その情報を受けて、主画素140からの信号のみを処理する。カバーする範囲内にないときは、信号処理部114は、その情報を受けて、主画素140および副画素142からの信号を既述のように加算処理する。
【００４１】
駆動信号生成部10Cは、後述する駆動信号を生成する。信号処理系10Bには、前処理部110、A/D変換部112、信号処理部114が備えられている。前処理部110は、たとえば、供給される信号電荷に対して相関二重サンプリング（CDS）処理を施して雑音の低減を図り、さらに信号にガンマ変換処理を施し、この信号を増幅させてA/D変換部112に出力する。
【００４２】
A/D変換部112は、システム制御部12からの制御信号12A、およびタイミング信号等を発生させる駆動信号生成部10Cからのクロック信号120を用いて撮像部104から供給されるアナログ信号をサンプリングし、量子化することによってデジタル信号に変換する。変換したデジタル信号は信号処理部114に供給される。
【００４３】
信号処理部114は、A/D変換部112から供給された主画素140および副画素142の出力信号に対して黒レベルの決定および補正を行う。すなわち、主画素140および副画素142の出力信号から黒レベルを決定し、決定された黒レベルにより、主画素140および副画素142の出力信号を補正することが行われる。信号処理部114は、補正された信号に、自動絞り調整（AE）、白バランス調整（AWB）、アパーチャ補正等を行う。
【００４４】
黒レベル補正について、以下説明する。撮像装置においては、出力信号の黒レベルを一定値にクランプすることが必要であり、そのために黒レベル補正が行われる。黒レベル補正は、本実施例では、主画素140および副画素142の出力信号から、実際の黒レベルを決定し、実際の黒レベルと、黒レベルの所定値との差を求めて補正量とし、主画素140および副画素142の出力信号からこの補正量を減算することにより行われる。たとえば、黒レベルの所定値を64と定めた場合、実際の黒レベルが66であったなら、その差２を主画素140および副画素142の出力信号から減算する。これにより、映像信号の生成に用いられる主画素140および副画素142の出力信号が補正されて、その黒レベルが64になる。
【００４５】
実際の黒レベルを決定する方法について、図３により説明する。図３は、A/D変換部112から供給される主画素140および副画素142の出力信号20、22を示し、図の縦軸は、出力信号の大きさである。出力信号20、22はそれぞれ、輝度レベル24、26と、黒レベル28、30からなる。本実施例では、黒レベル28と黒レベル30の大きさは同じである。出力信号20、22、輝度レベル24、26と、黒レベル28、30の大きさをそれぞれ、Ａ、Ｂ、ａ、ｂ、ｃとする。主画素の感度と副画素の感度の比を1/x、すなわち、
a:b=1:x      (式１)
とする。
【００４６】
感度の比は、たとえば、カメラの製造工程中の撮像調整を行う段階で、カメラごとに、または、カメラのロットごとに感度比を求めて、信号処理部114内のPROM(再書込み可能な読出し専用メモリ)に記憶させておき、撮影時に、PROMから読み出す。感度の比は、製造時だけではなく、ユーザが撮影時に求めることもできる。感度の比の決定方法については、後述する。
【００４７】
図３を参照すると、A=a+c、B=b+cであるから、式１を考慮して、
a=A-c
b=B-c
b=a*x
が成立することがわかる。この連立方程式を解くと
c=(B-A*x)/(1-x)
となる。このように、黒レベルｃは、出力信号20、22および感度の比から算出できる。信号処理部114は、このようにして黒レベルｃを決定するとともに、得られた黒レベルｃを用いて、既述のように出力信号20、22に対して黒レベル補正を行う。
【００４８】
撮影時の黒レベル算出の際は、図７に示すように、撮像素子の有効画素領域40のうち、特定領域、たとえば画面の中心領域42のデータを用いて、中心領域42の画素から得られた複数の黒レベルを平均して、黒レベルを決定する。黒レベル補正は、画面全体、すなわち有効画素領域40に対して、決定された黒レベルを一律に用いて、行う。なお、特定領域は有効画素領域40の全体でもよい。
【００４９】
システム制御部12の制御により、信号処理部114は、上述した信号処理後の信号に、既述のように受光素子140、142からの信号の加算処理を行い、もしくは行わない。
【００５０】
なお信号処理部114は、撮像信号を信号出力系10Dの表示部124に表示させるように垂直間引き処理等も行う。信号処理部114は、記録可能な映像信号にするために、必要に応じて、出力信号の圧縮／伸張処理も行う。そして、信号処理部114は、その信号を記録再生部126に出力する。
【００５１】
駆動信号生成部10Cは、たとえば、現行の放送方式（NTSC/PAL）でデジタルスチルカメラ10が駆動するように発生させた原発振のクロックを基に同期信号を生成して信号処理部114に供給する。駆動信号生成部10Cは、前処理部110、A/D変換部112にもサンプリング信号や書込み／読出し信号のクロックとして信号を供給する。
【００５２】
駆動信号生成部10Cは、原発振のクロックから同期信号を生成し、さらにこれらの信号を用いて各種のタイミング信号を生成している。生成されるタイミング信号には、撮像部104で得られた信号電荷の読出しに用いるタイミング信号、たとえば、垂直転送路の駆動タイミングを供給する垂直タイミング信号、水平転送路の駆動タイミングを供給する水平タイミング信号、フィールドシフトやラインシフトを行わせるタイミング信号等がある。また、AE調整部108の動作を制御する際にも駆動信号生成部10Cからの信号を用いている（ここでは信号線をそれぞれをあらわには図示しない）。
【００５３】
信号出力系10Dには、表示部124および記録再生部126が備えられている。表示部124には、たとえば、デジタルRGB入力によるVGA（Video Graphics Array）規格の液晶表示モニタなどが備えられている。記録再生部126は、磁気記録媒体、メモリカード等に用いられる半導体メモリ、光記録媒体、または光磁気記録媒体に、供給された映像信号を記録する。また、記録再生部126は、記録した映像信号を読み出して表示部124に表示させることもできる。
【００５４】
モード指定部10Eには、レリーズシャッタ128およびキースイッチ130が備えられている。レリーズシャッタ128は、本実施例において、２段押し機能を備えている。すなわち、第１段の半押し状態では、測光制御モードを指定して、システム制御部12にこのモード設定がなされていることを信号として供給し、第２段の全押し状態では、画像の取込みタイミングをシステム制御部12に提供する。
【００５５】
また、キースイッチ130は、十字キーであり、表示部124の画面に表示される画面内のカーソルを上下左右に移動させて項目・画像の選択等を行うことができる。この選択した情報もシステム制御部12に送られる。モード指定手段であるモード指定部10Eを用いて、ユーザは、既述の感度の比を求める処理を実行することをカメラに指示することもできる。
【００５６】
システム制御部12は、カメラ全体の動作を制御するコントローラである。システム制御部12には、中央演算装置（CPU）が含まれている。システム制御部12は、レリーズシャッタ128からの入力信号によりどのモードが選択されたかの判断を行う。また、システム制御部12は、上述したようにキースイッチ130からの選択情報により、画像信号に対する処理等の制御を行う。このように供給された情報に基づいてシステム制御部12は、どのような処理を行うべきかを判断し、判断結果を基に駆動信号生成部10Cの動作を制御する。
【００５７】
このように構成したデジタルスチルカメラ10の動作について、図４のフローチャートにより説明する。まず、通常の撮影動作である全画素読出しについて説明する。その後、カメラの製造工程で行われる感度の比を求める撮像調整工程について説明する。
【００５８】
一般的なデジタルスチルカメラ10の撮影手順に従うと、最初にデジタルスチルカメラ10では、撮影を行う前に被写界に対して測光を行う。被写界の撮像の際にレリーズシャッタ128を半押し状態にして測光制御モードにする。そして、AF調整制御、AE調整制御が行われる。
【００５９】
この後、ユーザは所望の撮影タイミングでレリーズシャッタ128を全押し状態にする。その後、撮像系10Aで被写界からの入射光の撮像が行われる。デジタルスチルカメラ10は、全画素読出しを行える撮像部104を有するカメラであり、レリーズシャッタ128が全押しされた場合(ステップS1)、色分解フィルタCFを介して入射する光がすべての画素について処理される。受光素子140、142の各々では、受光した際に光電変換することによって信号電荷が蓄積される。
【００６０】
蓄積された信号電荷を各受光素子140、142から読み出す場合、図５に示すように、信号出力系10Dでは垂直同期信号VDが生成される。また、信号出力系10Dでは、垂直同期信号VDに同期させて垂直転送路144の転送素子V1〜V8に供給する垂直駆動信号V1〜V8および信号読出しゲート146に供給する垂直タイミング信号TG1、TG4、TG5、TG8が生成される。垂直タイミング信号TG1、TG4、TG5、TG8は、転送素子V1〜V8を介して信号読出しゲート146に供給される。
【００６１】
図4、5において、各垂直同期期間中、主画素読出しを行う第１フィールド(ステップS12)では垂直タイミング信号TG1、TG5が立ち上がり信号であり、続いて行われる副画素読出しを行う第２フィールド(ステップS14)では垂直タイミング信号TG4、TG8が立ち上がり信号である。また、垂直タイミング信号TG1、TG4、TG5、TG8は、垂直同期信号VDに同期して信号電荷を読み出すように生成されている。
【００６２】
第１フィールドでは、トランスファゲートをオンにする際に転送素子V1、V5に対応する位置の受光素子だけから信号電荷を読み出し、次の垂直同期信号VDが供給されるまでフィールドシフトが行われない。そして、フィールドシフト後、各垂直駆動信号V1〜V8が順次供給される。この供給により、垂直転送路144にシフトされた信号電荷が水平転送路148に向かって転送されていく。第２フィールドでは、転送素子V4、V8に対応する位置の受光素子だけから信号電荷を読み出すように、トランスファゲートをオンにする。フィールドシフト後、各垂直駆動信号V1〜V8が順次供給される。垂直駆動信号V1〜V8は、第１フィールドおよび第２フィールドにおいて、同じである。
【００６３】
垂直同期信号VDがレベル"L"にレベル変化して、信号電荷が垂直転送路144に読み出された後（このときを時刻ｔ0とする）、各垂直駆動信号V1〜V8の各タイミングを図６のタイミングチャートに時間的に拡大して示す。時刻ｔ0に続いて、時刻ｔ1、t2、t3、...、t8において図６に示す垂直駆動信号V1〜V8が印加される。転送素子には、８個おきに同一の駆動電圧が印加される。すなわち、図２において、８個おきの転送素子は共通接続される。
【００６４】
図６に示すように、垂直駆動信号は、垂直転送素子V1〜V4に対するものと、垂直転送素子V5〜V8に対するものは、同じ信号である。すなわち、実質的には４つの異なる位相の信号で駆動している。垂直転送された信号電荷にラインシフトを施して、水平転送路148に転送した後、水平転送路148上を順次転送させて、撮像部104から全画素の信号電荷を所定の時間内に一度に読み出している。
【００６５】
撮像系10Aで得られた画像信号は、システム制御部12の制御により信号処理系10Bに供給される。撮像した画像信号は、信号処理系10BのA/D変換部112でデジタル信号にされた後、信号処理部114に供給される。信号処理部114は、既述のようにして、黒レベルの算出を行う(ステップS16)。続いて、主画素、副画素について、黒レベルの補正を既述のように行う(ステップS18)。
【００６６】
その後、信号処理部114は、補正後の出力信号20、22に基づいて、受光素子140でカバーできる範囲であるかどうかに応じて異なる処理が行われる。得られた画像データに、既述の各種の画像信号処理を施す(ステップS20)。そして、処理後の画像データが、信号出力系10Dに出力され、全画素の画像データが記録再生部126に記録される。
【００６７】
次に、カメラの製造工程で行われる感度の比を求める撮像調整工程について、図８のフローチャートにより説明する。以下の感度比取得のための処理をカメラ各部に行わせるプログラムをシステム制御部12内のROM(読出し専用メモリ)に格納しておき、製造ラインに設けられた調整装置から、カメラに設けた調整用の端子を介して、この処理の開始をシステム制御部12に指示する(ステップS22)。
【００６８】
このとき、カメラは、標準的な明るさを有する被写体に対向させておく。システム制御部12は、既述のようにカメラ各部を制御して、この被写体を撮影させる。信号処理部114は、A/D変換部112から、第１フィールドにおいて、主画素の信号レベルである撮影データを入力される。このデータを主画素信号レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS24)。
【００６９】
次に、調整装置は、カメラを、たとえば暗室に入れて遮光状態にする。その後、調整用の端子を介して、カメラに撮影を指示する。システム制御部12は、カメラ各部を制御して、撮影を行う。信号処理部114は、A/D変換部112から、第１フィールドにおいて、主画素の遮光状態における撮影データを入力される。このデータを主画素遮光レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS26)。
【００７０】
システム制御部12は、記録再生部126から、特定領域42の主画素信号レベルデータと主画素遮光レベルデータを読み出し、その差を取ることにより、図３に示す主画素の輝度レベル24を算出し、記録再生部126に記録する(ステップS28)。
【００７１】
次に、調整装置は、カメラを、標準的な明るさを有する被写体に再度、対向させ、カメラに撮影を指示する。信号処理部114は、第２フィールドにおいて、副画素の信号レベルである撮影データを取得する。このデータを副画素信号レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS30)。
【００７２】
その後、調整装置は、カメラを、再び遮光状態にする。そして、調整用の端子を介して、カメラに撮影を指示する。信号処理部114は、第２フィールドにおいて、副画素の遮光状態における撮影データを取得する。このデータを副画素遮光レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS32)。
【００７３】
システム制御部12は、記録再生部126から、特定領域42の副画素信号レベルデータと副画素遮光レベルデータを読み出し、その差を取ることにより、図３に示す副画素の輝度レベル26を算出する(ステップS34)。システム制御部12は、副画素の輝度レベル26を、記録再生部126から読み出した主画素の輝度レベル24で除算することにより、画素ごとに感度比Ｘを求め、その平均を取って感度比を算出し(ステップS36)、既述のPROMに、平均化された感度比Ｘを記録する(ステップS38)。
【００７４】
なお本実施例では、感度比Ｘは、特定領域42の画素について求めたが、有効領域40全体の画素について求めることもできる。また、本実施例では、感度比Ｘを求めるために、４回の撮影を行ったが、２回の撮影により感度比を求めることもできる。すなわち、標準的な明るさを有する被写体を１回撮影したときに、主画素の信号レベルデータを第１フィールドで取得し、副画素の信号レベルデータを第２フィールドで取得する。２回目の撮影として、遮光状態で撮影を行ない、主画素の遮光レベルデータを第１フィールドで取得し、副画素の遮光レベルデータを第２フィールドで取得する。
【００７５】
次に、本発明の第２の実施例について説明する。この実施例では、主画素の黒レベルと、副画素の黒レベルが異なる。このような場合の黒レベルの決定方法について述べる。黒レベル補正方法および撮影方法については、最初の実施例と同様であるので、それについては説明を省略する。
【００７６】
本実施例における黒レベルを決定する方法について、図９により説明する。図９は、A/D変換部112から供給される主画素140および副画素142の出力信号20a、22aを示し、図の縦軸は、出力信号の大きさである。出力信号20a、22aはそれぞれ、輝度レベル24a、26aと、黒レベル28a、30aからなる。本実施例では、黒レベル28aと黒レベル30aの大きさは異なる。出力信号20a、22a、輝度レベル24a、26aと、黒レベル28a、30aの大きさをそれぞれ、Ａ、Ｂ、ａ、ｂ、ｃ、ｄとする。主画素の感度と副画素の感度の比を1/x、すなわち、
a:b=1:x      (式１)
とする。また、主画素の黒レベルと副画素の黒レベルの比を1/y、すなわち、
c:d=1:y      (式２)
とする。
【００７７】
感度の比および黒レベルの比は、たとえば、カメラの製造工程中の撮像調整を行う段階で、カメラごとに、または、カメラのロットごとに求めて、カメラ内のPROMに記憶させておき、撮影時に、PROMから読み出す。これらの比は、製造時だけではなく、ユーザが撮影時に求めることもできる。感度の比および黒レベルの比の決定方法については、後述する。
【００７８】
図９を参照すると、A=a+c、B=b+dであるから、式1、2を考慮して、
b=B-d
a=A-c
b=a*x
d=c*y
が成立することがわかる。この連立方程式を解くと
c=(B-A*x)/(y-x)
d=(B-A*x)*y/(y-x)
となる。このように、黒レベルｃ、ｄは、出力信号20a、22aおよび感度の比x、yから算出できる。信号処理部は、このようにして黒レベルｃ、ｄを決定するとともに、得られた黒レベルｃ、ｄを用いて、既述のように出力信号20a、22aに対して黒レベル補正を行う。
【００７９】
撮影時の黒レベル算出の際は、図７に示すように、撮像素子の有効画素領域40のうち、特定領域、たとえば画面の中心領域42のデータを用いて、中心領域42の画素から得られた複数の黒レベルを平均して、黒レベルを決定する。黒レベル補正は、画面全体、すなわち有効画素領域40に対して、決定された黒レベルを一律に用いて、行う。なお、特定領域は有効画素領域40の全体でもよい。
【００８０】
本実施例における撮影動作は、図４に示すフローチャートにおいて、信号処理部が行う黒レベル算出方法(ステップS16)が異なるのみであるため、撮影動作については、これ以上の説明は省略する。
【００８１】
次に、カメラの製造工程で行われる感度および黒レベルの比を求める撮像調整工程について、図10のフローチャートにより説明する。本実施例における撮像調整工程は、図８に示す撮像調整工程と、ステップS38までは、同様であるので、説明を省略する。ステップS40から説明する。
【００８２】
システム制御部は、記録再生部126から、特定領域42の主画素遮光レベルデータと副画素遮光レベルデータとを読み出し、副画素の黒レベルを主画素の黒レベルで除算することにより、主画素の黒レベルと副画素の黒レベルとの比を画素ごとに求め、その平均を取って黒レベルの比を算出し(ステップS40)、既述のPROMに、平均化された黒レベルの比Ｙを記録する(ステップS42)。
【００８３】
次に、本発明の第３の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、撮影時の黒レベルの決定を、分割領域ごとに行う。
【００８４】
すなわち、図11に示すように、有効画素領域40を、縦方向および横方向に複数の分割領域44に分割し、各分割領域44において画素ごとに黒レベルを求め、得られた黒レベルを分割領域44において平均し、平均値を求める。分割領域44ごとの平均値を用いて、黒レベル補正を行う。そのために、黒レベルの決定に用いる感度比および黒レベル比は、撮像調整工程において分割領域ごとに求める。
【００８５】
分割領域44ごとに、黒レベルを決定し、補正を行うことにより、ダークシェーディングが補正可能となる。なぜならば、ダークシェーディングは、有効画素領域40の周辺部で生じるものであり、中心部と周辺部で異なる基準レベルを用いることにより、周辺部で生じているダークシェーディングに対応することができるからである。ダークシェーディングによる信号電荷の低下分を黒レベルの低下分とみなして、画素ごとに黒レベルを決定して、補正するため、適正な輝度レベルが得られて、ダークシェーディングを補正できる。
【００８６】
ただし、信号レベルが飽和している画素がある分割領域44では、黒レベル決定および黒レベル補正を行わない。信号レベルが飽和していると、第１の実施例または第２の実施例に関して説明した黒レベル決定のための計算式が成立していないためである。
【００８７】
黒レベル補正では、各分割領域44の黒レベルの平均値を用いて、画素ごとに補正が行われるが、各分割領域44の境界近傍にある画素については、隣接する分割領域44の黒レベルで補間した黒レベルを用いて画素ごとに補正する。補間方法としては、たとえば、隣接する分割領域44の黒レベルの平均値を用いる。これを図12により説明する。図12において、縦軸は、分割領域44ごとの決定された黒レベルを示し、横軸は、有効画素領域の水平方向、または垂直方向、または斜め方向に位置する分割領域44の位置を示す。黒レベル46が分割領域44に対応する。
【００８８】
黒レベル46aに対応する分割領域44aと、黒レベル46bに対応する分割領域44bとの境界近傍に位置する分割領域44a、44ｂの画素については、黒レベル46aと黒レベル46bの平均値48を用いて、黒レベル補正を行う。境界近傍に含まれる画素としては、画素１列分でもよく、複数列分でもよい。
【００８９】
撮影時の動作については、図４のフローチャートと同様であるが、ステップS16、S18において、分割領域44ごとに黒レベル決定と、黒レベル補正を行う点が異なる。撮像調整工程については、図10のフローチャートと同様であるが、ステップS36、S38において、分割領域44ごとに主画素と副画素の感度比を算出し、記録する点、およびステップS40、S42において、分割領域44ごとに黒レベル比を算出し、記録する点が異なる。
【００９０】
次に、本発明の第４の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、撮影時の黒レベルの決定を、有効領域40の画素全体について、画素ごとに行う。また、黒レベル補正も対応する画素ごとに行う。これにより、ダークシェーディングと、転送路起因の傷（主に縦筋）が補正可能となる。
【００９１】
縦筋が補正できる理由は、次の通りである。縦筋は、転送路の欠陥に起因して転送路の転送効率が低下するために、生じる。この傷は、たとえば撮像面の縦１列に発生する。本実施例によれば、転送効率の低下による信号電荷の低下分を黒レベルの低下分とみなして、画素ごとに黒レベルを決定して、補正するため、適正な輝度レベルが得られて、縦筋を補正できる。
【００９２】
ただし、信号レベルが飽和している画素では、黒レベルの算出は行わない。信号レベルが飽和していると、既述の黒レベル決定のための計算式が使えないためである。信号レベルが飽和している画素については、その画素の黒レベルは、隣接する画素の黒レベルを補間して求める。たとえば、隣接する両隣の画素の黒レベルの平均値を、飽和している画素の黒レベルとする。
【００９３】
撮影時の動作については、図４のフローチャートと同様であるが、ステップS16、S18において、画素ごとに黒レベルを決定することと、黒レベル補正を行う点が異なる。撮像調整工程については、図10のフローチャートと同様であるが、ステップS36、S38において、画素ごとに主画素と副画素の感度比を算出し、記録する点、およびステップS40、S42において、画素ごとに黒レベル比を算出し、記録する点が異なる。
【００９４】
次に、本発明の第５の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、撮影時の黒レベルの決定を、RGB画素ごとに行う。また、黒レベル補正も対応するRGB画素ごとに行う。これにより、色の違いに依存する黒レベルの違い、すなわちRGB画素のダークレベルの違いが補正可能となる。
【００９５】
RGB画素ごととは、１画素ごとに黒レベルを算出するのではなく、ある領域におけるR画素、G画素、B画素の黒レベルの平均値を用いることを意味する。ある領域とは、特定領域42または有効画素領域40を指す。この平均値を用いて、RGB画素ごとに、たとえばR画素については、算出されたR画素の黒レベルを用いて黒レベル補正を行う。
【００９６】
撮影時の動作については、図４のフローチャートと同様であるが、ステップS16、S18において、RGB画素ごとに黒レベルを決定することと、黒レベル補正を行う点が異なる。撮像調整工程については、図10のフローチャートと同様であるが、ステップS36、S38において、ある領域についてRGB画素ごとに主画素と副画素の感度比を算出し、記録する点、およびステップS40、S42において、この領域についてRGB画素ごとに黒レベル比を算出し、記録する点が異なる。
【００９７】
次に、本発明の第６の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、露光時間を考慮して、撮影時の黒レベルを決定するとともに、主画素、副画素の出力信号を黒レベル補正する。すなわち露光時間が、所定の長時間露光閾値より大きい場合にのみ、本発明による黒レベルの決定を行い、そうでない場合は、本発明による黒レベルの決定を行わず、撮像調整工程において取得しておいた黒レベルを、PROMから読み出してきて使用する。本発明による黒レベルの決定を、より効果の期待できる長時間露光時のみ行う。これにより、信号処理時間が短縮される。
【００９８】
すなわち、長時間露光の場合は、本発明による黒レベルの算出を既述のRGB画素別に行う。長時間露光条件下で撮像調整工程時に得られた主画素と副画素の感度比、および主画素と副画素の黒レベル比をPROMから読出して使用する。
【００９９】
長時間露光でない場合は、撮像調整工程時に通常露光時間で取得したRGB画素別の黒レベル(黒レベル比ではなく)を使用する。撮像調整工程時に得られて記録済みの主画素および副画素の黒レベルをPROMから読み出して使用する。
【０１００】
撮影時の動作について、図13のフローチャートにより説明する。図４のフローチャートと同様であるものについては、同一のステップ番号を使用し、その説明は省略する。ステップS10、S12、S14、S18、S20が、図４のフローチャートと同様である。
【０１０１】
図13のステップS14において、画素データを取り込んだ後、システム制御部12は、露光時間が、所定の長時間露光閾値(Th)より大きいかどうかを判断する(ステップS44)。長時間露光の場合は(ステップS44で、YESの場合)、本発明による黒レベルの算出をRGB画素別に既述のように行う(ステップS46)。長時間露光条件下で撮像調整工程時に得られた主画素と副画素の感度比、および主画素と副画素の黒レベル比をPROMから読出して、既述のように、RGB画素ごとに黒レベルを決定する。
【０１０２】
長時間露光でない通常露光の場合は(ステップS44で、NOの場合)、撮像調整工程時に通常露光時間で取得したRGB画素別の黒レベルをPROMから読み出す(ステップS48)。このようにして長時間露光および通常露光の場合にそれぞれ得られた黒レベルを用いて、ステップS18では、既述のように黒レベル補正を行う。
【０１０３】
次に、撮像調整工程について、図14のフローチャートにより説明する。図10のフローチャートと同様であるものについては、同一のステップ番号を使用し、その説明は省略する。ステップS22〜S38が、図10のフローチャートと同様である。
【０１０４】
図14においては、理解の容易化のために、長時間露光条件と通常露光条件のいずれで行われる処理であるかを明記することとし、図中に「(長時間露光)」、「(通常露光)」と記載する。ステップS38で、ある領域についてRGB画素ごとに主画素と副画素の感度比が記録された後、信号処理部は、ステップS26、S32で得られた主画素、副画素の遮光レベルデータから、RGB画素ごとに平均を求め、平均値を主画素、副画素の黒レベルデータとして、PROMに記録する(ステップS44)。
【０１０５】
その後、調整装置は、カメラを、再び遮光状態にする。そして、調整用の端子を介して、カメラに長時間露光条件での撮影を指示する。信号処理部114は、第１フィールドにおいて、主画素の遮光状態における撮影データを取得し、第２フィールドにおいて、副画素の遮光状態における撮影データを取得する。これらのデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS46、S48)。
【０１０６】
システム制御部は、記録再生部126から、特定領域42の長時間露光条件での主画素遮光レベルデータと副画素遮光レベルデータとを読み出し、画素ごとに、副画素の黒レベルを主画素の黒レベルで除算することにより、主画素の黒レベルと副画素の黒レベルとの比を求め、その平均をRGB画素ごとに求めて黒レベルの比を算出する(ステップS50)。さらにPROMに、特定領域42においてRGB画素ごとに平均化された黒レベルの比Ｙとして記録する(ステップS52)。
【図面の簡単な説明】
【０１０７】
【図１】本発明に係る固体撮像装置をデジタルスチルカメラに適用した際の概略的な構成を示すブロック図である。
【図２】受光素子、色フィルタ、および垂直転送路の配置を簡略化して示す模式図である。
【図３】主画素および副画素の出力信号、輝度レベル、黒レベルの関係を示す説明図である。
【図４】デジタルスチルカメラの撮影時の動作フローを示す。
【図５】図１の駆動信号生成部において全画素読出しを行う際に信号発生部で生成される垂直同期信号、垂直タイミング信号およびカメラの撮影動作の関係を示すタイミングチャートである。
【図６】垂直駆動信号のタイミングチャートである。
【図７】黒レベル決定が行われる特定領域を示す説明図である。
【図８】デジタルスチルカメラの撮像調整工程における動作を示すフローチャートである。
【図９】主画素および副画素の出力信号、輝度レベル、黒レベルの関係を示す説明図である。
【図１０】デジタルスチルカメラの撮像調整工程における動作を示すフローチャートである。
【図１１】有効画素領域を複数の領域に分割した一例を示す説明図である。
【図１２】分割した領域の境界における黒レベルの決定方法を説明するグラフである。
【図１３】デジタルスチルカメラの撮影時の動作を示すフローチャートである。
【図１４】デジタルスチルカメラの撮像調整工程における動作を示すフローチャートである。
【符号の説明】
【０１０８】
10  デジタルスチルカメラ
12  システム制御部
10A  撮像系
10B  信号処理系
10C  駆動信号生成部
10D  信号出力系
10E  モード指定部
20、22、20a、22a  出力信号
24、26、24a、26a  輝度レベル
28、30、28a、30a  黒レベル
104  撮像部
108  AE調整部
140、142、R1、R4、R5、R8、G1、G4、G5、G8、B1、B4、B5、B8  受光素子
146  信号読出しゲート（トランスファゲート）
144  垂直転送路
148  水平転送路
150  出力アンプ
V1〜V8  転送素子
【図１】
2007228152.tif 000003
【図２】
2007228152.tif 000004
【図３】
2007228152.tif 000005
【図４】
2007228152.tif 000006
【図５】
2007228152.tif 000007
【図６】
2007228152.tif 000008
【図７】
2007228152.tif 000009
【図８】
2007228152.tif 000010
【図９】
2007228152.tif 000011
【図１０】
2007228152.tif 000012
【図１１】
2007228152.tif 000013
【図１２】
2007228152.tif 000014
【図１３】
2007228152.tif 000015
【図１４】
2007228152.tif 000016