(57)【特許請求の範囲】
【請求項１】
撮像レンズを介して入射される光学像を受光し、該光学像に応じた画像信号を生成するディジタルカメラにおいて、該カメラは、
前記光学像の入射側に色フィルタが配置されていない第１の受光セルと、前記光学像の入射側に色フィルタが配置された第２の受光セルとが撮像面に配置され、各受光セルへの受光量に応じた受光信号をそれぞれ生成する撮像手段と、
前記撮像手段から読み出される受光信号を処理して、各画素位置における画素値を生成して、前記光学像に応じた画像信号を生成する信号処理手段と、
第１の受光セルにて生成される第１の受光信号を重点的に読み出すための制御を行なう第１の撮像制御と、動画モード時に第２の受光セルにて生成される第２の受光信号を読み出す第２の撮像制御とを行なう制御手段と、
第１の受光セルと第２の受光セルとに関する受光セル情報を格納する記憶手段とを含み、
前記制御手段は、前記撮像手段への入射光量を判定する判定手段を含み、前記受光セル情報に基づいて、第１および第２の受光セルからの第１および第２の受光信号を判別し、前記入射光量が所定の閾値よりも少ない低照度状態であることが該判定手段にて判定されると、第１の撮像制御を行なって、第１の受光信号に基づいて撮像調節を行ない、
前記信号処理手段は、前記第２の受光信号に対して欠陥補正する補正手段を含み、該補正手段は、前記制御手段にて判別される第１の受光信号に対しても、第２の受光信号に対する補正処理と同様の前記欠陥補正処理を前記受光セル情報に従って行なうことを特徴とするディジタルカメラ。
【請求項２】
請求項１に記載のディジタルカメラにおいて、前記信号処理手段は、露出制御を行なうための輝度評価値を第１の受光信号に基づいて生成する手段を含み、
前記制御手段は、前記撮像調節として、前記輝度評価値に従って露出を制御することを特徴とするディジタルカメラ。
【請求項３】
請求項１に記載のディジタルカメラにおいて、前記信号処理手段は、前記撮像レンズの焦点位置を調節するためのコントラスト評価値を第１の受光信号に基づいて生成する手段を含み、
前記制御手段は、前記撮像調節として、前記コントラスト評価値に従って前記焦点位置を制御することを特徴とするディジタルカメラ。
【請求項４】
請求項１に記載のディジタルカメラにおいて、前記制御手段は、前記低照度状態ではないと判断した場合に、第２の撮像制御を行なって、第２の受光信号に基づいて撮像調節を行なうことを特徴とするディジタルカメラ。
【請求項５】
請求項１に記載のディジタルカメラにおいて、前記制御手段は、前記撮像調節を行なう際に、第１の受光信号を生成する第１の受光セルが欠陥画素であるか否かを判定して、欠陥画素に該当する第１の受光セルからの第１の受光信号を除外し、欠陥画素に該当しない第１の受光信号に基づいて撮像調節を行なうことを特徴とするディジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像面に結像される光学像に応じた撮像信号を出力する固体撮像素子およびディジタルカメラに係り、たとえばカラー静止画像を生成して出力する固体撮像素子およびディジタルカメラに関するものである。
【０００２】
【従来の技術】
近年、CCD 固体撮像素子やMOS型撮像素子を搭載したディジタルカメラが普及している。このような撮像装置では、固体撮像素子の生成する画素数が増大してきており、高精細なカラー画像を得られるようになってきた。反面、固体撮像素子内にて光電変換を行なう撮像セルは、高画素密度化やカメラ自体の小型化のために、さらには歩留まり向上のために小型化される傾向にあり、これに伴って画素サイズが小さくなって１セルあたりの受光感度が低下する。また、カラー画像を得るために、撮像セルを構成するフォトダイオードの上部には、原色系または補色系の色フィルタが被着されて、この色フィルタの分光透過特性のために、フォトダイオードに到達する光量が減少する。このため、被写体を低照度下にて撮像する場合には、充分な情報量を得ることができなかった。
【０００３】
一方、このようなディジタルカメラでは、撮像素子より出力される撮像信号を用いて、自動露出調整(AE)や自動焦点調節(AF)などの撮像調節が行われるものがある。たとえば、特開平5-161078号公報には、CCDを使用した電子スチルカメラにおいて、１画面の偶数フィールドと奇数フィールドとで異なるシャッタ速度にて撮像することにより、２つの測光値を得て被写体の明るさを求めて自動露出を行なう装置が開示されている。
【０００４】
また、撮像信号に含まれる高域周波数成分を抽出してコントラスト評価値を算出し、高コントラストが得られた際のレンズ位置に撮像レンズを制御することにより焦点調節を行なうコントラスト検出方式の自動焦点調節機能がカメラに採用されている。また、撮像信号のレベルに基づいて、その撮像信号のレベルを補正する可変利得増幅を行って、輝度レベル補正やホワイトバランス調整が行われる。
【０００５】
しかし、撮像セルの感度が不足した場合には、相対的にノイズ成分が増加することとなって、このような撮像調節を精度よく行なうことが困難なことがあった。たとえば、様々な撮影シーンにおいて、夕暮れや室内、夜間等に撮影する場合に、被写界の照度が低いために、撮像調節を的確に行なう輝度レベルの撮像信号を得ることが困難である。そこで従来は、たとえば画素を混合して読み出すことにより、撮像信号の情報量を高め撮像調節の際の精度を向上させるようにしていた。
【０００６】
また、このような固体撮像素子を用いたディジタルカメラでは、固体撮像素子に固有な欠陥画素を補正して、補正された画像データを生成する機能を有している。たとえば、特開平7-203465号公報には、カラー単板式の固体撮像素子から出力される欠陥画素の欠陥信号を補正する信号補間方法が開示され、さらに、特開平11-262025号公報には、欠陥画素と同色の画素を用いて欠陥画素の信号補正を行なう画像補正方法が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、画素混合による読出しでは、結局、全画素を読み出す際と同様の転送速度が必要となって、間引き読み出しと較べて画素転送速度が低下する。これでは撮影前のモニタ表示等、スムーズな動画像を表示できない。たとえば、有効画素が1280*1024画素の撮像素子を使用して、画素混合により垂直走査方向に1/4画素間引きや1/8画素間引きを行なう場合、1/7.5秒もしくは1/15秒程度の画素の読出時間を要する。さらに高画素密度の撮像素子を用いる場合には、それに応じて画素出力速度が低下する。
【０００８】
この画素混合のように、通常の間引き読み出しでは読み出さない画素をすべて読み出す場合、たとえば、1/8読み出しでは、通常の間引き読み出しの８倍の画素を読み出して、８倍の情報量を得ることができるが、その読出時間に全画素読出時と同等な時間が必要となるという問題があった。この場合であっても、必要なレベルの情報量を充分に得られるとは限らない。
【０００９】
したがって、照度が不足している暗い場所で撮影を行なう場合に、出力速度を低下させずに、AEやAFの制御を精度よく行なうことが困難であった。このように、とくに被写界照度が低い場合、撮像信号にノイズ成分が相対的に増大して、撮像制御を行なうための制御情報を精度よく得ることができない場合があった。
【００１０】
また、カラー画像信号を出力する固体撮像素子の撮像面には、カラーフィルタが被着されているため、カラーフィルタがない場合と較べると、RGB原色系カラーフィルタで約1/3の感度低下が発生し、補色系カラーフィルタの場合でも約1/2程度の感度低下が発生している。このため、低照度下において充分なレベルの出力信号を得ることができず、高精度な撮像制御を行なうことが困難であった。
【００１１】
本発明はこのような従来技術の欠点を解消し、低照度下においても、撮像制御を精度よく行なうことのできる固体撮像素子およびディジタルカメラを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、複数の光電変換素子がアレイ状に配置されて、光電変換素子に結像される光学像に応じたカラー画素信号を出力する固体撮像素子において、この固体撮像素子は、複数の画素位置について、入射光側と光電変換素子との間に色フィルタが設けられず、色フィルタを介さずに入射される光の光量に応じた第１の信号電荷を生成する第１の受光セルと、第１の受光セルを除く画素位置の光電変換素子のそれぞれに対して所定の色配列の色フィルタが配設され、色フィルタを透過して入射光側から入射する光の光量に応じた第２の信号電荷を生成する第２の受光セルと、第１および第２の信号電荷を水平および垂直方向に転送する電荷転送手段と、電荷転送手段から転送される信号電荷を電気信号に変換して出力する出力手段とを含むことを特徴とする。
【００１３】
また、本発明は上述の課題を解決するために、撮像レンズを介して入射される光学像を受光し、光学像に応じた画像信号を生成するディジタルカメラにおいて、このカメラは、光学像の入射側に色フィルタが配置されていない第１の受光セルと、光学像の入射側に色フィルタが配置された第２の受光セルとが撮像面に配置され、各受光セルへの受光量に応じた受光信号をそれぞれ生成する撮像手段と、撮像手段から読み出される受光信号を処理して、各画素位置における画素値を生成して、光学像に応じた画像信号を生成する信号処理手段と、第１の受光セルにて生成される第１の受光信号を重点的に読み出すための制御を行なう第１の撮像制御と、動画モード時に第２の受光セルにて生成される第２の受光信号を読み出す第２の撮像制御とを行なう制御手段とを含み、制御手段は、撮像手段への入射光量を判定する判定手段を含み、入射光量が所定の閾値よりも少ない低照度状態であることが判定手段にて判定されると、第１の撮像制御を行なって、第１の受光信号に基づいて撮像調節を行なうことを特徴とする。
【００１４】
この場合、信号処理手段は、露出制御を行なうための輝度評価値を第１の受光信号に基づいて生成する手段を含み、制御手段は、撮像調節として、輝度評価値に従って露出を制御するとよい。
【００１５】
また、信号処理手段は、撮像レンズの焦点位置を調節するためのコントラスト評価値を第１の受光信号に基づいて生成する手段を含み、制御手段は、撮像調節として、コントラスト評価値に従って焦点位置を制御するとよい。
【００１６】
さらに、制御手段は、撮像調節を行なう際に、第１の受光信号を生成する第１の受光セルが欠陥画素であるか否かを判定して、欠陥画素に該当する第１の受光セルからの第１の受光信号を除外し、欠陥画素に該当しない第１の受光信号に基づいて撮像調節を行なうとよい。
【００１７】
また、第１の受光セルと第２の受光セルとに関する受光セル情報を格納する記憶手段を含み、制御手段は、受光セル情報に基づいて、第１および第２の受光セルからの第１および第２の受光信号を判別し、さらに、信号処理手段は、第２の受光信号に対して欠陥補正する補正手段を含み、補正手段は、制御手段にて判別される第１の受光信号に対しても、第２の受光信号に対する補正処理と同様の欠陥補正処理を受光セル情報に従って行なうとよい。
【００１８】
また、本発明は上述の課題を解決するために、撮像レンズを介して入射される光学像を受光し、光学像に応じた画像信号を生成するディジタルカメラにおいて、このカメラは、光学像の入射側に色フィルタが配置されていない第１の受光セルと、光学像の入射側に色フィルタが配置された第２の受光セルとが撮像面に配置され、第１および第２の受光セルへの受光量に応じた第１および第２の受光信号をそれぞれ生成する撮像手段と、撮像手段から読み出される受光信号を処理して、各画素位置における画素値を生成して、光学像に応じた画像信号を生成する信号処理手段と、第１および第２の受光信号を撮像手段からそれぞれ読み出すための制御を行なう制御手段とを含み、信号処理手段は、撮影に先立って撮像調節を行なう際に、露出制御を行なうための輝度評価値を第１の受光信号に基づいて生成し、撮影が開始されると、制御手段は、輝度評価値に応じた露出にて撮像手段を駆動し、信号処理手段は、第１の受光セル位置の画素値を第２の受光信号によって補正することを特徴とする。
【００１９】
【発明の実施の形態】
次に、添付図面を参照して本発明による固体撮像素子およびディジタルカメラが適用された撮像装置の実施例を詳細に説明する。図１を参照すると、一実施例としてディジタルカメラのブロック図が示され、このディジタルカメラ10は、撮像レンズ８および固体撮像素子(CCD) 12によって撮像される被写界の撮像信号を処理して、カラーまたはモノクロ静止画像を表わすデータをカメラ本体10に着脱可能なメモリカード30に記録する撮像装置である。このカメラ10は、被写界を撮像し、高解像度の撮像画像をたとえば静止画符号化処理してメモリカード30に記録する静止画モードと、フレーミングやピント合わせ等を決定するために被写界を連続的に低解像度にて撮像し、その撮像画像を順次モニタ表示する動画モードとを有する。本実施例では、本カメラ10が起動すると動画モードが設定され、操作部26に備えられたレリーズスイッチがオン状態に操作されると静止画モードが設定される。また、動画モードは、操作に応じて設定または解除することができる。
【００２０】
さらにディジタルカメラ10は、固体撮像素子12の出力信号に基づいて、自動焦点調整(AF)および自動露出調整(AE)等の撮像調節を行なう撮像調節機能を有する。カメラ10は、撮像調節モードにおいて固体撮像素子12からの出力信号を処理し、その処理結果に基づいて、被写界の輝度レベルを測定しその測光結果に従ってシャッタ速度や絞り値を制御する自動露出調整機能と、固体撮像素子12からの出力信号に基づいて、所望の被写体が撮像レンズ８を介して固体撮像素子12の撮像面に合焦するように撮像レンズ８のピント位置を制御する自動焦点調節機能とを有する。
【００２１】
この撮像調節機能は、動画モード期間に間欠的に実行されることにより、撮像した動画像をモニタしながら撮像調節を行なうことができる。また、撮像調整機能は、操作者によるレリーズ操作に応動して実行され、撮像調節の動作が完了した後、静止画像を得るための本撮影動作が行われる。静止画モードに移行すると、カメラ10は、撮像される１コマもしくは複数コマの静止画像を処理し、その処理画像データを出力部24に着脱自在に装填されるメモリカード30に圧縮符号化または非圧縮にて記録する。
【００２２】
本実施例におけるディジタルカメラ10は、とくに低照度下においてピント調整および測光・露出調整等の撮像調節を行なう際に、固体撮像素子12に対する駆動制御と、固体撮像素子12の出力信号に対する信号処理とを、通常照度下におけるそれとは異なる設定の低照度モードにて行なう。また、被写界の低照度状態に限らず、たとえば高速なシャッタ速度にて撮像したり、絞りを絞り込んで撮像する際に、固体撮像素子12への所定期間内における受光光量が少なくなる場合についても低照度モードへ移行する。減光フィルタを撮像レンズ８の前面に備え付けた場合についても同様である。
【００２３】
この低照度モードは、固体撮像素子12に結像した画像の画素出力を行なうための画素セルとは別に固体撮像素子12の受光部に設けた高感度の素抜け画素セル、つまり制御用セルからの出力値に基づいて、もしくはその出力値を重点的に用いて、撮像調節を行なうモードである。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００２４】
固体撮像素子12は、撮像レンズ８によって結像される被写界像を受光し電気信号に変換するイメージセンサである。固体撮像素子12は、水平および垂直走査方向にそれぞれ複数のフォトダイオードを配列して受光量に応じた信号電荷を生成する感光部と、感光部へ入射する光を所定の分光透過特性にて透過する色フィルタアレイと、各フォトダイオードにて生成される電荷を垂直(V)方向に転送する垂直転送CCD と、各垂直転送CCD から転送される電荷を水平(H)方向に転送する水平転送CCDと、水平転送CCDにて転送される電荷を電気信号に変換して出力する出力アンプとを含むCCDイメージセンサである。なお、固体撮像素子12は、CCD型撮像素子に限らず、CMOSイメージセンサ等の他の固体撮像素子でもよい。
【００２５】
図２および図３は、固体撮像素子12の一受光部のセルを中心として仮想的に切り出した断面を概念的に示す斜視図である。図２に示すように固体撮像素子12は、ｎ型基板(N-Sub) 200 上にP-ウェル(P-well) 202が形成され、そのP-ウェル202内にPN接合のフォトダイオード204が形成されている。固体撮像素子12は、フォトダイオード204に到達した光の量に応じて生成された信号電荷を読出ゲート206を介して垂直転送路208にシフトし、信号電荷を転送電極210への転送パルスに応じて垂直転送路208上で転送する。各垂直転送路208および転送電極210のさらに上部には遮光膜212が形成されており、垂直転送路208への光を遮光する。
【００２６】
遮光膜212に覆われていないフォトダイオード204の感光部分は、受光部としての画素セルを構成し、画素セルに到達する光に応じた信号電荷が生成される。後述の制御用セルを形成する感光部を除いて、赤(R)、緑(G)および青(B)のいずれかの色フィルタ214が受光部分と遮光膜212とを覆うようにしてフォトダイオード204の上部、つまり入射光側に形成される。本実施例では、各画素セル毎に異なる原色系色フィルタが形成されるが、これに限らず、補色系、その他分光透過特性の異なる色フィルタが形成されてもよい。これら色フィルタ214の周辺は、無色透明のオーバーコート層216により充填され、このオーバーコート層216の上部には、感光部へ光を集光するマイクロレンズ218が形成されている。
【００２７】
色フィルタ214は、たとえば図４にその配列の一部を模式的に示すように縦ＧストライプＲＧ市松配列400を基本構成とする。そして、図５に斜線にて示すように、一つ以上の受光セルについて色フィルタを配置しないセルを、制御用セル402,404,406などのように配置する。なお、色フィルタ214の基本配列はこれに限らず、他のフィルタ配列、たとえばベイヤ配列などでもよい。
【００２８】
このような構成により、マイクロレンズ218に入射する光束が、色フィルタ214を透過してフォトダイオード204に到達し、ここで光電変換が行われて生成した信号電荷が垂直転送路208および水平転送路に転送されて、画素セルへの受光量に応じて生成された信号電荷に応じた画素値を示す画素信号が出力アンプから出力される。また、マイクロレンズ218を介して制御用セルに到達した光束に応じてフォトダイオード204にて生成された信号電荷は、同様にして各転送路を経て出力アンプにて電荷検出され、制御用セルに対する受光量に応じたセル受光信号が出力アンプから出力される。
【００２９】
このように、本実施例における固体撮像素子12には、制御用セルを部分的に形成するフィルタ配列のRGB原色フィルタ層が配設される。固体撮像素子12は、タイミング制御部14から与えられる駆動信号に応じて駆動されて、画素セルからの出力値や制御用セルからの出力値、さらには不図示のオプチカルブラック部分の出力値などを含む出力信号を出力102に出力する。このフィルタ配列は、一般的な色フィルタ配列の一部分に色フィルタを配置していない受光領域、つまり制御用セルを形成している点で従来の配列パターンとは異なる。
【００３０】
固体撮像素子12の所定部分に配置された制御用セルは、フォトダイオード204の上面つまり入射光側に色フィルタ214を設けず、マイクロレンズ218からの光を無色透明のオーバーコート層216を介して直接受光する感光部である。この制御用セルは、たとえば低照度下において、ピント合わせや測光および露出制御などの撮像調節を手動もしくは自動的に行なうための受光光量センサとして機能し、制御用セルは画素セルと同一撮像面に設けられている。この制御用セルを構成するフォトダイオード204にて生成される信号電荷を検出して固体撮像素子12より出力されるセル受光信号は、静止画像を形成する画素信号としては使用しないようにカメラ10内のディジタル信号処理部20が構成される。
【００３１】
この制御用セルの断面構造を図３に示す。図示するように制御用セルは、図２に示したセル構造のものから、レジスト処理等によって形成する色フィルタ214を設けず、その部分にオーバーコートをたとえばスピンコート等の処理により充填した構造の受光部となっている。他の部分については図２に示した画素セルの構成と同様の構造でよく、オーバーコート層216の上部には、マイクロレンズ218が設けられている。制御用セルは、後述するように様々な配置パターンにて配置することができる。このような構造により、制御用セルは、色フィルタ214が配設された画素セルよりも可視光領域において分光特性が広く、光の透過率が高く構成されている。したがって、制御用セルに到達する光の光量を多くすることができ、画素セルよりも光電変換効率が高い高感度な高感度セルが構成される。この制御用セルでは、色フィルタ214を介さずにフォトダイオード204に到達した光が光電変換され、信号電荷に応じたセル受光信号が読み出される。このため、画素セルと制御用セルとを比較した場合、同一光量の光を受光した際に、制御用セルからの出力値が画素セルからの出力値よりも大きくなる。したがって、低照度下において、たとえば同一照度の均一面を被写体とする被写界を撮像した際に、制御用セルからの出力値を、画素セルからの出力値と較べて大きな値とすることができる。
【００３２】
ここで制御用セルの配置パターンの各例を説明すると、たとえば、図５に示した例では、ＧストライプＲＢ市松配列色フィルタを基本配列とする撮像面に、制御用セル402が配置され、この制御用セル402の右、下および右斜め下に他の制御用セルが配置されている。同様に制御用セル404の１セル分下方には他の制御用セルが配置されている。さらに制御用セル406の１セル分上方および右方にそれぞれ制御用セルが配置されている。
【００３３】
また、図６には、撮像領域の一部において配置された制御用セル配置例が斜線にて示されている。この例では、複数の制御用セルが複数画素の間隔を空けて離隔配置されており、水平および垂直走査方向に４セル毎の間隔で制御用セルが配置されている。この場合、撮像調節を行なう際に固体撮像素子を1/4間引き読み出しで駆動することにより、垂直走査方向に1/4間引きで読み出し、制御用セルへの受光量に応じた出力値を重点的に出力させることができる。さらに水平方向についても1/4間引き処理を行なう場合には、制御用セルのみの値を抽出することができる。図７に示す制御用セルの配置パターンについても同様に制御用セルの配置例を示している。この例では固体撮像素子が1/8間引き読み出し駆動される際に、制御用セルからの出力値を得ることができる。なお、動画モードにおいて間引き読み出しを行なう場合には、これら制御用セルの値を読み出さないようにして、各ラインおきに間引いて画素信号を読み出す駆動を行なう。
【００３４】
さらに、図８は、固体撮像素子12の撮像領域におけるほぼ中央部を拡大して示す部分図であり、撮像画面を構成する各画素セルの中央部付近に複数の制御用セルを配置している。なお、同図には示してないが、撮像領域の画面周辺部に、撮像領域中央部の制御用セルの単位面積当たりの配置数よりも少ない数の制御用セルを配置してもよく、この場合、画面全体として、画面中央部を重み付けした制御用セルからの出力値が得られる。
【００３５】
また、図９に示す例では、固体撮像素子12の有効画素領域全面を示し、撮像画面を16分割したうちの各分割ブロックにおける中央部分に、斜線にて示した制御用セルをそれぞれ１つづつ配置した例である。なおこの図において、制御用セルのセルサイズは、図示明瞭化のため画面サイズに比して拡大して示している。また、各分割ブロックごとに複数の制御用セルを、分割ブロック内の所定部分、たとえば分割ブロック内の四隅部分や中央部分に配置させてもよい。このような制御用セル配置により、撮像調節を行なう場合、必要な分割ブロックを選択して使用する際に、それら分割ブロックにおける出力値を、各分割ブロックの代表値として使用することができる。また、各分割ブロック内には、それぞれ同数個の制御用セルを配置してもよいが、これに限らず、たとえば画面中央部付近の分割ブロックについては、制御用セルの数を他の分割ブロックにおけるそれよりも多くしてもよい。
【００３６】
さらに図10に示す例では、撮像領域の中央部を部分的に示す中央部拡大図であり、制御用セルの配置パターンの他の例が示されている。図示するように、この例では、制御用セルを、水平および垂直走査方向に一列および二列に配列した構成としている。この場合、図11に示す中央部分拡大図のように、所定数の画素セル分の間隔を空けて制御用セルを形成してもよい。
【００３７】
以上は正方画素配列の固体撮像素子12へ制御用セルを適用した場合について説明したが、これに限らず、画素セルおよび制御用セルの各受光部を、図12に示すようにハニカム状に配列させてもよい。このハニカム配列が採用された固体撮像素子1200は、たとえば６ないし８角形、さらには円形形状に近い形状にて形成された各受光部を固体撮像素子1200の撮像面にたとえば垂直走査方向にジグザク状に配置することにより、受光部面積を効率的に増大させ、さらに水平および垂直解像度を高めた撮像素子である。
【００３８】
詳しくは同図に示すように、ハニカム配列の固体撮像素子1200は、フォトダイオード(PD)の開口部を形成する受光セル1210を格子縞状に配置し、45°斜め方向の受光セル間距離を、水平および垂直走査方向の受光セル間距離よりも小さく設定して、垂直方向に配置された複数の受光セル1210に隣接して垂直電荷転送路(VCCD)をジクザグ状に形成する。各VCCDは、水平電荷転送路(HCCD)に接続され、HCCDはVCCDから転送された信号電荷をさらに出力アンプ1220に転送する。出力アンプ1220は、入力される信号電荷を電気信号に変換してその出力102に出力する。
【００３９】
このようなハニカム方式の固体撮像素子1200に、たとえば図13に示すようにＧストライプＲＢ市松配列の色フィルタ(R,G,B)を被着する。この色フィルタ配列例において、所定のセル位置に、色フィルタが被着されていない素抜け画素、つまり制御用セル(CC)を設ける。なお、この固体撮像素子1200に対しても、図６〜図11に示したような、間引き読み出し対応の制御用セル配列や、撮像領域の所定領域を重み付けする制御用セル配列などの各配列パターンを適用することができる。
【００４０】
以上説明したように、制御用セルの配置パターンは、撮像調節を行なうための目的に適合する様々な配列パターンが適用される。とくに、制御用セルが配置されたセル位置に対応する画素値を、固体撮像素子の出力に対する信号処理によって求める場合に、対象となる制御用セル周辺に配置された画素セルの画素値により算出する。したがって、制御用セル位置は、画素出力信号に対する補間処理、特に欠陥画素補正処理によって当該画素値が生成しうる位置に決定される。このように、制御用セル位置は、所望の撮像制御を行なうために必要な情報を与え、かつ後処理にて有効に補正される撮像領域の所定位置に作成される。
【００４１】
また、制御用セルの配置個数は、静止画像に対して要求される画像品質や、固体撮像素子における欠陥画素数などに応じた数が選択される。また、撮像制御を行なうために要求される精度やその調節内容によっても異なる制御用セルの配置個数が選択される。制御用セルの配置個数は、究極には１つの制御用セルを撮像領域の所望の部分、たとえば撮像領域の中央部分に配置してもよく、このセルの出力値に応じて受光量に応じた情報を得ることができる。また、コントラスト検出方式の自動焦点調節を行なうための制御用セルの配列パターンは、撮像領域に対する水平および垂直走査方向さらには斜め方向の複数サンプリング点を満足する直線上または面に制御用セルをそれぞれ複数配置する。この場合、フォーカシングエリア内の複数位置における制御用セルの各出力値から高域周波数成分を抽出し、これらを積算してコントラスト評価値を作成し、撮像レンズ８の各位置におけるコントラスト評価値のピークに応じたレンズ位置を合焦位置として、撮像レンズ８の焦点位置を制御する。
【００４２】
なお、色フィルタが配置されない制御用セルには、オーバーコート層を充填するのみならず、他の光透過部材を配置してもよい。他の光透過部材としては、分光透過特性が各波長にて均一な透明部材を配置することができる。この場合、光透過率が他の色フィルタよりも高い光透過部材を使用する。また、透明部材を配置するのではなく、受光部の上方に光透過部材を充填しない間隙を設けて、マイクロレンズ218からの光束をその間隙による空間を介してフォトダイオード204に到達するようにしてもよい。
【００４３】
以上説明した各固体撮像素子には、受光量に応じたレベルの出力信号を所定の許容範囲内にて形成することができない欠陥セルがその製造上、一部に含まれる。またこのような欠陥セルを皆無にすることはコストの点からも困難である。したがって、一般的には、このような欠陥画素からの出力信号に対し、その画素位置における出力値を、他の画素値等により補正して出力する欠陥画素補正処理を施す。なお、固体撮像素子の製造時における良否判定を行なう場合には、画素セルにおける欠陥セルの数と、実際に配置される制御用セルの数とを加えた数が、固体撮像素子に対し許容する欠陥セル数以下となる固体撮像素子が選別されて出荷される。
【００４４】
固体撮像素子12より出力される撮像信号による画像形成を目的とする場合、たとえば静止画撮影や、撮像領域全面における出力画像を得る場合などでは、固体撮像素子12の出力信号を処理するディジタル信号処理部20（図１）は、後述するように制御用セルを欠陥画素セルと同様に取り扱ってその出力値を使用せず、他の出力値で補間し、その欠陥セル位置における画素値を補正出力する。また、ディジタル信号処理部20は、低照度モードにおいて、撮像制御のためのセル受光信号を固体撮像素子12の出力信号から得る際、特定の制御用セルが欠陥セルであった場合には、その欠陥セルからの出力値を撮像調節のためには使用しないように除外して、他の正常な制御用セルからの出力値に基づいて、撮像制御を行なうための評価値を算出する。固体撮像素子12は、図１に示すタイミング制御部14から供給される駆動信号100 によって駆動される。
【００４５】
タイミング制御部14は、制御部(CPU) 22から通知される制御信号に応動して各部を駆動するタイミングを制御する制御する制御および駆動回路である。タイミング制御部14は、制御部22から与えられる制御信号130に応動する露光開始タイミングにて、所定の露光量にて被写界を撮像させるために、固体撮像素子12を駆動する電荷転送パルス、フィールドシフトパルスおよび読出パルス等の駆動信号を生成して出力100に出力する。また、タイミング制御部14は、制御部22から通知される制御信号に応動して、固体撮像素子12、アナログ処理部16、A/D変換部18およびディジタル信号処理部20を駆動する画素クロック104を生成し、さらに、色分離パルス、A/Dクロックおよび同期信号等のタイミング信号108を生成する。
【００４６】
また、タイミング制御部14は、動画モードを指示する制御信号が制御部22より与えられると、撮像領域における画素セルを間引き読み出しする部分読出しを行なって、読み出された画素信号を固体撮像素子12より高速に出力させる駆動信号100を生成する。この駆動信号100にて駆動される固体撮像素子12は、たとえば、１秒間に15〜30フレームにて複数連続するコマを表示させる画素信号を出力する。本実施例におけるタイミング制御部14は、この動画モードでは、制御用セルからのセル受光信号を読み出さないようにして固体撮像素子12を駆動する駆動信号を生成する。
【００４７】
さらに、静止画モードを指示する制御信号が制御部(CPU) 22より与えられると、タイミング制御部14は、撮像領域における画素セルおよび制御用セルを全セル分読み出す全画素読出しを行なって、読み出された撮像信号を出力させる駆動信号100を生成する。この静止画モードにおける撮像信号には、制御用セルにて生成されたセル受光信号が含まれる。
【００４８】
タイミング制御部14は、撮像調整機能の実行を指示する制御信号が制御部22より与えられて、さらに低照度モードが制御部22によって設定されると、制御用セルにて受光された信号電荷を重点的に読み出すための駆動信号100を生成して固体撮像素子12に供給する。
【００４９】
具体的には、たとえば図６に示された制御用セルの配列パターンの固体撮像素子12を駆動する場合には、タイミング制御部14は、固体撮像素子12の撮像領域における各セルを1/4間引き読み出しする駆動信号100を固体撮像素子12に供給する。また、図７に示された制御用セル配列の固体撮像素子12を駆動する場合には、撮像領域における各セルを1/8間引き読み出しする駆動信号100を固体撮像素子12に供給する。図８〜図10に示した制御用セル配列の固体撮像素子12を駆動する場合には、タイミング制御部14は、同様にして、制御用セルが配置された水平走査ラインにおける各セルを重点的に読み出す駆動信号100を固体撮像素子12に供給する。なお、通常照度モードが設定されている場合には、撮像調節を指示されたタイミング制御部14は、動画モードにおける画素読出し時と同様の駆動信号100を生成する。この場合、各RGB画素セルからの出力値に基づいて作成される輝度評価値およびコントラスト評価値等の各種評価値に基づいて撮像調節が行われる。
【００５０】
固体撮像素子12の出力102に接続されたアナログ処理部16は、撮像素子12から出力されるアナログ撮像信号を、タイミング制御部14より供給される画素クロック104に同期して相関二重サンプリングする相関二重サンプリング(CDS)回路を有する。この相関二重サンプリング回路は、各セルからの出力信号102におけるリセットノイズを除去する。
【００５１】
相関二重サンプリング回路の出力は、色分離回路に接続され、色分離回路は、固体撮像素子12の色フィルタ配列に応じてRGB点順次に入力される撮像信号を、タイミング制御部14から供給される色分離パルスに応動して各色成分ごとに３線分離する。アナログ処理部16は、色分離された各色成分信号のレベルを調整する可変利得増幅回路およびガンマ補正回路と、各色成分信号を一線化するマルチプレクサとの各アナログ信号処理回路を含み、通常照度モードにおいて、画素クロック104やタイミング信号106に応動して、これら調整および補正処理等のアナログ信号処理を行なう。アナログ処理部16は、各処理回路にて処理された撮像信号を出力106に接続されたアナログ・ディジタル(A/D)変換部18に出力する。
【００５２】
さらに本実施例におけるアナログ処理部16は、制御部22により低照度モードが設定されると、相関二重サンプリング回路の出力信号のうち、制御用セルからのセル受光信号に対して、上述のようなレベル調整および補正処理を行わずに、色分離回路の出力値を出力106に出力する。
【００５３】
A/D変換部18は、入力106に入力されるアナログ信号を所定ビット数のディジタル信号に変換するアナログ・ディジタル変換処理部である。本実施例におけるA/D変換部18は、タイミング制御部14から供給されるA/Dクロックや同期信号等のタイミング信号108に応動して、水平走査期間ごとに切り換えて供給される各色成分の各画素信号や制御用セルからのセル受光信号を、たとえば８ビットないし12ビットのディジタル値に順次変換し、変換された画像データを出力110に出力する。A/D変換処理部18の出力110はディジタル信号処理部20に接続されている。
【００５４】
ディジタル信号処理部20は、入力110に入力される画像データを制御部22から供給される制御信号112に応じて各種のディジタル信号処理を行なう回路である。ディジタル信号処理部20は、画像データをそれぞれ一時記憶するフレームメモリ(FM) 21を有し、静止画モードが設定されると、画像データをフレームメモリ21に格納し、格納された画像データに対し、色バランス、輝度および彩度等を補正する補正処理を信号処理パラメータに従って行なう。また、ディジタル信号処理部20は、画像データに対してフィルタ処理および輪郭強調処理等のディジタル信号処理を実行して適切な静止画像を作成する処理機能を有する。また、ディジタル信号処理部20は、RGB原色カラー画像データを輝度データＹおよび色差データＣに変換するYC変換処理機能を有し、動画モードにおいて、撮像映像を汎用の外部表示装置に表示させる場合に、YC変換処理を行なったYCデータを出力116に出力する。さらに、静止画モードにおけるディジタル信号処理部20は、出力部24にて処理する圧縮符号化方式に応じて、画像データをYCデータに変換して出力116に出力する。また、ディジタル信号処理部20は、動画モードにおいて、出力部24に内蔵される液晶モニタ装置に撮像映像を表示させる場合にはRGB形式の画像データを出力116に出力する。
【００５５】
また、ディジタル信号処理部20は、撮像素子12のフィルタ配列に応じた各画素を各画素位置にて３つの原色RGBにて表わす画素生成処理機能を有する。信号処理部20は、静止画モードにおいて、撮像素子12におけるR,G,B各原色の画素セルおよび制御用セルに対して、それぞれ１つのセル位置におけるRGB各画素値をそれぞれ周辺画素セルを用いて補間処理して各画素位置におけるRGBの各画素値を生成する。補間対象のセルがRGB画素セルである場合、その対象画素の値と周辺画素とを用いて補間処理し、逆に、補間対象が制御用セルであった場合には、その値を使用せずに、周辺画素の値を用いて補間処理する。なお、ハニカム配列の撮像素子の出力信号を処理する場合にディジタル信号処理部20は、画素セルと画素セルとの間に、実際にセルが存在しない仮想画素を想定して、その仮想画素の想定位置における画素値を算出して仮想画素値を生成する機能を含むとよい。
【００５６】
さらにディジタル信号処理部20は、制御部22にて撮像調節モードが設定されると、自動露出調整を行なうための輝度評価値および自動焦点調節を行なうためのコントラスト評価値等の各種撮像調節のための評価値を、固体撮像素子12からの出力信号に基づいて算出する機能を有する。詳しくは、ディジタル信号処理部20は、撮像調節モードにおいて、入力110に入力される撮像信号に基づいて、被写界の輝度レベルを測定する測光機能を有する。ディジタル信号処理部20は、制御部22から供給される現在の絞り値とシャッタ速度と感度とから定まる露出制御値に基づいて、入力信号レベルに応じた被写界の輝度レベルを算出する。この場合、ディジタル信号処理部20は、撮像画面を複数のブロックに分割して各ブロック内の信号レベルを積算し、その所定ブロック、たとえば中央部分等に対応する分割ブロックの積算値を画面位置情報に応じて重み付けして輝度評価値を算出する。
【００５７】
制御部22は、電源投入直後の動画モードでは、撮像されたRGB画素信号に基づいて被写界の輝度レベルを測定する。制御部22は、このRGB画素信号に基づいてディジタル信号処理部20にて算出された輝度評価値と、あらかじめ設定された輝度判定閾値とを比較し、輝度評価値が輝度判定閾値以上であるか否かを判定する。制御部22では、その判定結果に従って、被写界が低照度状態であるか否かを認識し、輝度評価値が輝度判定閾値未満である場合に低照度モードを設定する。逆に輝度評価値が輝度判定閾値以上の値である場合には制御部22は、通常照度モードを再度設定する。低照度モードおよび通常照度モードを設定する制御信号は制御部22より各部に与えられる。
【００５８】
低照度モードが設定されたディジタル信号処理部20は、この低照度モードにて撮像して得られる撮像信号110から制御用セルからのセル受光信号を抽出し、抽出された所望のセル受光信号をそれぞれ使用して輝度評価値を算出する。
【００５９】
この低照度モードにおけるディジタル信号処理部20は、固体撮像素子12に配列された制御用セルの配置パターンに応じて、セル受光信号の値のみ、もしくは、セル受光信号と他のRGB画素信号との値に基づいて輝度レベルを測光評価し、その輝度評価値を算出する。ディジタル信号処理部20は、生成した輝度評価値を制御部22に通知する。なお、通常照度モードが設定された場合、ディジタル信号処理部20は、RGB画素信号に基づいて上述の各評価値を算出する。
【００６０】
さらにディジタル信号処理部20は、自動焦点調節を行なう際に、撮像レンズ８の位置を変更しながらそれぞれのレンズ位置にて得られる複数レンズ位置での画素信号またはセル受光信号から被写界のコントラスト成分を抽出し、所定の測距条件にてコントラスト成分が最大となったことを示すコントラスト評価値を算出する。この場合、ディジタル信号処理部20は、低照度モードにおいて、入力110に入力されるセル受光信号を用いて、その信号レベルに基づいてコントラスト評価値を算出する。逆に通常照度モードが設定されたディジタル信号処理部20は、入力110に入力されるRGB画素信号を用いてコントラスト評価値を算出する。
【００６１】
さらにディジタル信号処理部20は、静止画モードにおいて前述のような画素生成処理を行なう前に、固体撮像素子12にて発生する欠陥画素セルの出力値および制御用セルの出力値を補正する画素補正処理機能を有する。ディジタル信号処理部20は、画素補正する際に、補正対象とする対象画素、つまり欠陥画素セルおよび制御用セルの周辺の一つまたは複数の画素を用いて、その対象画素を補正処理することにより、キズが良好に補正された静止画像を生成する。
【００６２】
詳しくは、ディジタル信号処理部20は、制御部22から供給される位置情報114を用いて、撮像信号に含まれる欠陥画素セルおよび制御用セルの値を同一色成分の隣接画素値に応じた値で置き換える補間処理を行なう。なお、ディジタル信号処理部20は、制御用セルに対しては、色フィルタ配列順に応じた色フィルタの色成分をその制御セル位置に割り当てて、割り当てた色成分と同一の色成分の隣接画素値を使用して制御用セル位置における画素値を算出する。たとえばディジタル信号処理部20は、フレームメモリ21に一旦記憶された画像データのうち、対象画素に近接する上下左右方向の同一色成分画素を用いてそれらの平均を算出し、その平均値を対象画素が記憶されるアドレスに書き込んで対象画素を算出結果で埋め戻す。
【００６３】
座標メモリ28の記憶領域には、図14に示すように、固体撮像素子12における受光セルの受光セル情報として、受光セルの属性を示すセル属性情報と、固体撮像素子12の撮像領域における受光セルの位置座標(H,V)を示すアドレス情報とが格納されている。セル属性情報は、欠陥画素であるか否かを示す欠陥画素情報と、制御用セルであるか否かを示す制御用セル情報とを含み、これらいずれの受光セルではない受光セル、つまり正常に使用可能なRGB画素セルについては、画素補正処理が不要であるので、セル属性情報およびアドレス情報を座標メモリ28に格納しなくてよい。
【００６４】
一例として、たとえば図６に示した制御用セルの配置パターンが適用された固体撮像素子12では、同図における左上を原点とした場合、位置座標(H,V) が座標(2,2),(2,6),(2,10),...、座標(6,2),(6,6),(6,10),...の各制御用セルを示すアドレス情報が座標メモリ28に格納され、これら座標における各受光セルの制御用セル情報の属性値"1"が、各位置座標に対応して座標メモリ28に格納される。また、座標(4,5)の画素セルが欠陥セルであった場合には、この画素セルの欠陥画素情報の属性値"1"が、位置座標とともに座標メモリ28に格納される。さらに、たとえば、座標(6,10)の制御用セルが、欠陥セルであった場合には、欠陥画素情報および制御用セル情報の各属性値"1"がそのアドレス情報とともに座標メモリ28に格納される。なお、属性値"0"はそれぞれ欠陥画素セルおよび制御用セルではないことを示す。
【００６５】
このような受光セル情報は、固体撮像素子12を製造するメーカにて所定の情報記録媒体に記録し、固体撮像素子12に添付して提供する。この固体撮像素子12を撮像装置に組み込む場合には、情報記録媒体に記録された受光セル情報を座標メモリ28に、たとえば図14に示すようなフォーマットにて記録する。記録形式は、これに限らず、たとえば、図15に示すように、欠陥セルの位置座標を示す欠陥セル情報と制御用セル情報とを区分して、座標メモリ28のそれぞれ別の記録領域に記憶した形式でもよい。なお、色フィルタ配列は、制御部22にて認識しているが、座標メモリ28の記憶領域に、撮像素子の色フィルタ配列を示す情報を受光セル情報として格納しておき、これに基づいて制御部22が色フィルタ配列を認識するようにしてもよい。
【００６６】
このように、制御用セルが配置されている位置座標を示す制御用セル情報が座標メモリ28に格納されており、静止画モードにおけるディジタル信号処理部20は、制御用セルから得られるセル受光信号に対しても、欠陥画素セルに対する欠陥補正処理と同様の処理を行なうことができる。制御用セル自体が欠陥セルであった場合も同様である。
【００６７】
なお、撮像制御を行なう際には、制御用セル自体が欠陥セルであって、その位置座標データが座標メモリ28に登録されている場合には、制御部22はこれを判定して、その制御用セルの出力値を撮像制御用としては使用しないように禁止する制御をディジタル信号処理部20に対して行なう。この場合、ディジタル信号処理部20は、欠陥セルとして登録された制御用セルからのセル受光信号を除く他の制御用セルからのセル受光信号に基づいて、その輝度レベルおよび高域周波数成分を評価した各評価値をそれぞれ生成して制御部22に通知する。
【００６８】
ディジタル信号処理部20は、静止画モードにおいて、このような画素補正処理の後、さらに上述した画素生成処理や色バランス調整、輝度および彩度等の補正処理およびYC変換処理などを行ない、このようにして補正および調整処理された画像データをフレームメモリ21から読み出して出力部24に出力する。ディジタル信号処理部20の出力116は、出力部24に接続されている。
【００６９】
出力部24は、ディジタル信号処理部20にて処理された画像データを、所望の出力形態にて出力させる処理部である。詳しくは、出力部24は、画像データの表わす画像および映像を表示するモニタ表示装置を含み、動画モードにおいて入力116に入力されるRGB画像データに応じた各コマの画像をその表示画面に表示させる。また、出力部24は、画像データ116をたとえばNTSC映像信号に変換して、その出力118に着脱自在に接続されるテレビモニタ装置やビデオプリンタおよびビデオレコーダ等の汎用の映像機器に出力する。
【００７０】
さらに出力部24は、静止画撮影によって得られた静止画像のYC画像データを、たとえばJPEG方式によって所定長のデータに圧縮符号化し、処理された符号化データを、出力120に着脱自在に接続されるメモリカード等の記録媒体30に記録する。出力部24はまた、記録媒体30に記録された情報を読み出してその符号化データを復号し、復号された画像データをディジタル信号処理部20に供給する機能を有する。この場合、ディジタル信号処理部20は、出力部24から供給される画像データを、出力部24からの出力先に応じた信号形式に再変換処理し、その処理結果を出力116に出力する。なお、ディジタル信号処理部20は、ディジタル画像信号を入出力するディジタル端子を備えてもよく、たとえば、連続する各コマの動画像データを入出力可能なシリアル入出力端子もしくはパラレル入出力端子を備える場合には、その接続装置に応じた所定の形式に変換して入出力端子より出力するとよい。
【００７１】
制御部(CPU) 22は、操作部26に対する操作者の操作状態に応じて動画モードまたは静止画モードを各部に設定し、設定したモードに応じてカメラ10の各部を制御する機能を有する。また、制御部22は、固体撮像素子12から出力される撮像信号に基づいて、露出および焦点調節などの撮像調節を行なうための撮像調節モードを設定してカメラ10の各部を制御する。この撮像調節モードにおいてさらに制御部22は、ディジタル信号処理部20から通知される輝度情報に基づいて輝度判定を行ない、その判定結果に従って低照度モードまたは通常照度モードを設定する。
【００７２】
詳しくは制御部22は、本カメラ10に電源が投入されると、電源オン後の初期状態では、あらかじめ設定されたパラメータに従って、たとえば動画モードを指示する制御信号を生成して各部に供給する。さらに制御部22は、操作部26に配置されたレリーズ釦が押下されたことを操作部26からのレリーズ信号により検出すると、静止画モードを指示する制御信号を生成して各部に供給する。この場合、制御部22は、ディジタル信号処理部20から与えられる輝度およびコントラスト評価値に基づいて、静止画撮影を行なう際のシャッタ速度、絞り値および焦点を決定し、その決定に応じた制御信号をタイミング制御部14に出力する。なお、レリーズスイッチが２段押下式スイッチにて構成される場合には、制御部22は、その第１ストロークに応じた第１のレリーズ信号に応動して撮像調節モードを設定し、焦点調節、露出調節およびホワイトバランス等を調整し、レリーズスイッチがさらに押下された第２ストロークに応じた第２のレリーズ信号に応動して静止画モードを設定するとよい。タイミング制御部14は、レリーズタイミングおよび露出制御を指示する制御部22からの制御信号を接続線130を介して受け取ると、制御信号130に応じて撮像素子12およびアナログ処理部16を駆動する。
【００７３】
また、制御部22は、座標メモリ28に格納されている受光セル情報を読み出して、撮像素子12に関する情報を認識し、受光セル情報内のアドレス情報をフレームメモリ21の記憶アドレスを示す位置情報に変換する。制御部22は、受光セル情報に含まれるセル属性情報および位置情報を接続線114を介してディジタル信号処理部20に出力する。
【００７４】
さらに制御部22は、特に静止画モードにおいて、ディジタル信号処理部20における画素生成処理および画素補間処理を制御する機能を有する。具体的には、制御部22は、撮像信号に対するホワイトバランス調整処理のためのパラメータや撮像画像の画像サイズおよび圧縮符号化の有無、さらには圧縮率など、操作部26により設定された撮像記録処理に関する情報を制御信号112としてディジタル信号処理部20に通知する。また、制御部22は、撮像調節のための各種方式を選択してディジタル信号処理部20を制御する機能を有する。たとえば制御部22は、自動露出調整や自動焦点調節を行なう際の測光エリアや測距エリアを決定し、どのパターンにて測光および測距するかを決定し、決定した所望のパターンに対応するセルによって、前述の輝度評価値およびコントラスト評価値をディジタル信号処理部20に生成させる制御を行なう。これら測光および測距エリアは、操作部26に対する操作に応じて複数の中から自由に選択することが可能である。また、測光エリアのパターンと測距エリアパターンとは、必ずしも一致した領域でなくてもよい。また、通常照度モードと、低照度モードでは、これら測光エリアおよび測距エリアは、それぞれ異なる形状のパターンに対応するセルからの情報に基づいて、撮像調整のための各種評価値を得るようにしてもよい。
【００７５】
以上のような構成で、本発明による固体撮像素子および撮像制御装置ならびにその方法が適用されたディジタルカメラの動作を図16を参照して説明する。電源スイッチがオンに操作されるとカメラ10に電源が投入されて各部が起動される。ステップS10では、撮影モード、再生モードおよび通信モードのうち、操作部26の設定に応じて、たとえば撮影モードが、その初期状態として設定される。この撮影モードでは、露出やピント合わせなどの撮像調節を自動で行なう自動調整と手動にてこれらを調節するマニュアル調整とのいずれかを選択することができるが、以下、自動調整を行なう設定の場合について説明する。
【００７６】
撮影モードにおいてステップS12に進むと、まず、操作部26の設定に応じて動画モードが設定される。動画モードでは、固体撮像素子12を間引読出しにて駆動する駆動信号がタイミング制御部14から撮像素子12に供給される。ここで、たとえば、図７に示す固体撮像素子12を１/8間引き読み出しする駆動信号が与えられると、水平および垂直方向にそれぞれ間引きされた８画素ごとのRGB画素信号が固体撮像素子12から読み出される。この場合、制御用セルが配置された位置からのセル受光信号は読み出されず、制御用セルを避けてRGB画素信号が間引き読み出しされる。このRGB画素信号は、アナログ処理部16にて相関二重サンプリングされた後、所定レベルに増幅され、A/D変換されてディジタル信号処理部20に入力される。
【００７７】
ディジタル信号処理部20では、RGB画素信号を各フレームごとにモニタ表示用のNTSC映像信号に変換して出力118に出力するとともに、RGB画素信号に基づいて輝度評価値およびコントラスト評価値を所定の期間ごとに算出して制御部20に通知する。制御部22では、ディジタル信号処理部20から通知される各評価値に基づいて、動画像を撮像している際の各フレームの露出時間（シャッタ速度）である電荷蓄積時間や絞り値等を決定して、その決定情報をタイミング制御部14に通知するとともに、アナログ処理部16にてレベル調整する際の利得を制御する。こうして動画像を撮像しながらその撮像画像をモニタ表示し、その際にも、被写界の明るさ等の状況の変化に追従して撮像調節を行ないながらモニタ撮影を行なうことができる。
【００７８】
次にステップS14に進み、レリーズスイッチが操作されたことが、制御部22にて検出されたレリーズ信号によって認識されるとステップS16に進む。レリーズ信号が検出されない場合にはステップS12に戻って動画像モードにおける処理が継続される。
【００７９】
ステップS16では被写界の照度を判定する照度判定処理が行なわれる。この判定処理では、ディジタル信号処理部20に入力されているRGB画素信号に基づいて輝度評価値が生成される。制御部22は、ディジタル信号処理部20から通知される輝度評価値と輝度判定閾値とを比較する。輝度評価値が輝度判定閾値を超えていると、被写界が通常照度状態であると制御部22にて判定されるとステップS18に進み、輝度評価値が輝度判定閾値未満の値であった場合には、低照度状態であると判定されてステップS20に進む。
【００８０】
ステップS18における通常照度モードでは、動画モードと同様の駆動方法にて固体撮像素子12が駆動され、間引き読み出しされたRGB画素信号が固体撮像素子12から出力される。ディジタル信号処理部20では、このRGB画素信号に基づいて、輝度評価値およびコントラスト評価値を算出し、算出したこれら評価値は制御部22に通知される。制御部22では、輝度評価値に従って露出値を決定し、またコントラスト評価値に基づいて撮像レンズ８の焦点位置を制御する。こうしてRGB画素値により、輝度評価値およびコントラスト評価値がそれぞれ生成されてこれら評価値に基づいて自動露出調整(AE)および自動焦点調節(AF)調節が行なわれる。このようにして通常照度モードにおける撮像調整処理が完了するとステップS22に進む。
【００８１】
他方のステップS20における低照度モードでは、動画モードが終了し、固体撮像素子12に対する駆動方法が切り替えられて、固体撮像素子12に配置した制御用セルを重点的に読み出す制御が開始される。低照度モードにおける撮像調整処理は、固体撮像素子12の制御用セルからセル受光信号の値に基づいて、輝度評価値およびコントラスト評価値がそれぞれ算出される。制御部14では、算出されたこれら評価値に基づいて、次のステップである本撮影の静止画モードにおける露出値を決定し、撮像レンズ８の焦点位置を制御する。なお、各評価値を算出する際には、セル受光信号とともに読み出されたRGB画素値をも使用して各評価値を算出することができる。このようにして、低照度下において高感度画素がサンプリングされて、撮像調節のための輝度評価値とコントラスト評価値とが決定され、これらに基づいて露出時間および絞り値の露出情報が決定され、撮像レンズ８の焦点位置が制御される。
【００８２】
このようにしてステップS18またはS20にて撮像調整処理が行なわれるとステップS22に進んで、静止画モードにて本撮影が行なわれる。この静止画モードでは、先に決定された露出情報に従って被写界が撮像され、撮像素子12内の受光セルのすべてが読み出される全画素読出しが行なわれる。撮像素子12から読み出されたアナログ撮像信号は、アナログ処理部16およびA/D変換部18にて各種信号処理を受けた後にディジタル信号処理部20に入力される。ディジタル信号処理部20に入力された画像データはフレームメモリ21に一旦格納される。
【００８３】
次いでステップS24に進んで、ディジタル信号処理部20では、格納された画像データに対し、制御部22から供給される位置情報114に対応する画素位置の格納データが補間処理されて、欠陥画素セルおよび制御用セルの値が補正される。補正された画像データは、さらに、各画素位置におけるRGB画素値がそれぞれ補間処理により生成され、このようにして生成された画像データに対し、色バランス、輝度および彩度等が調整され、さらにフィルタ処理および輪郭強調処理等のディジタル信号処理が施される。このようにして補正および調整処理された画像データは、フレームメモリ21から読み出されて出力部24に入力される。出力部24に入力したYC画像データは圧縮符号化されて記録媒体30に記録される。
【００８４】
以上説明したように、本実施例では、固体撮像素子12に備えられたRGB画素セルと、制御用セルとを使用して、撮像調整を行なうための受光信号をそれぞれ得ることができる。したがって、被写界照度が低い場合などのような固体撮像素子12に対する入射光量が少ない場合であっても、RGB画素値のみを使用するのではなく、セル受光信号の値を使用して被写界の照度を測定したり、所望の被写体に対するピント合わせを行なったりするための各種評価値を精度よく得ることができる。なお、実施例では、レリーズ信号が検出された場合にステップS16における照度判定を行なっているが、このような照度判定処理を動画モード期間中において間欠的に行なってもよい。
【００８５】
この場合、たとえば低照度状態であると制御部22にて判定されると、動画モードであっても制御用セルの値を重点的に読み出すようにタイミング制御部14に対する制御や固体撮像素子12に対する駆動を切り替えて、制御用セルからの出力値を用いて輝度評価値およびコントラスト評価値を生成する。この結果、動画モードにおける撮像調節を制御用セルの出力値に基づいて行なうことができ、低照度下において、動画モードにおける撮像調節の精度を高めることができる。
【００８６】
このように上記実施例では、１画素に入射する光量を増やすことにより、暗い場所で撮像した撮像信号の情報量を増やしている。この情報量の増大によって、撮像制御のための制御情報を正確に得ることができ、このため、暗い場所での撮影や高速シャッタ速度での撮影などであっても、精度のよい制御を行なうことができる。この場合、感度の高い画素セルを、決められた座標に配置し、AE/AF制御時には、この画素セルの情報を重点的に使用し、精度を向上させるとともに、静止画像を得るための本撮像時には、これら制御画素を使用せず、制御画素を欠陥画素とみなして取り扱うことにより、キズ補正を行なう欠陥補正処理と同様に処理することで高品質の静止画像を得るができる。このように、色フィルタが配設された各色成分の画素のほかに、それら色成分画素よりも、さらに高感度の画素を固体撮像素子内に配置しているから、カラーフィルタの分光感度特性および透過率に左右されずに、撮像制御のための情報量を充分に得ることができる。
【００８７】
【発明の効果】
このように本発明によれば、感度を低下させる要因を取り除いた受光セルを配置しているので、たとえば照度の足りない撮影条件下において、焦点調節や露出調整を自動的に行なうための評価値を、高感度な受光セルからの出力値に基づいて充分なレベルで得ることができ、ノイズの影響を相対的に少なくすることができるので、自動露出調整や自動焦点調節などの撮像調節を精度よく行なうことができる。このような高感度な受光セルからの出力信号は、たとえば静止画像用に備えられた欠陥補正処理と同一機能を使用して補正することができる。
【図面の簡単な説明】
【図１】本発明が適用されたディジタルカメラの一構成例を示すブロック図である。
【図２】固体撮像素子の一受光部のセルを切り出した状態を示す断面斜視図である。
【図３】固体撮像素子の制御用セルの断面構造例を示す断面斜視図である。
【図４】固体撮像素子に配設される色フィルタの配列例を示す図である。
【図５】図４に示した色フィルタに制御用セルを配置する一例を示す図である。
【図６】固体撮像素子の撮像領域における制御用セルの配置例を示す図である。
【図７】固体撮像素子の撮像領域における制御用セルの配置例を示す図である。
【図８】固体撮像素子の撮像領域の中央部付近における制御用セルの配置例を示す図である。
【図９】撮像領域の各分割ブロックにおける制御用セルの配置例を示す図である。
【図１０】固体撮像素子の撮像領域の中央部付近における制御用セルの他の配置例を示す図である。
【図１１】固体撮像素子の撮像領域の中央部付近における制御用セルのさらに他の配置例を示す図である。
【図１２】ハニカム配列の固体撮像素子の構成例を示す図である。
【図１３】ハニカム配列の固体撮像素子における制御用セルの配置例を示す図である。
【図１４】座標メモリの記憶領域に格納格納された受光セル情報の一例を示す図である。
【図１５】座標メモリの記録領域の他の構成例を示す図である。
【図１６】ディジタルカメラの動作を示すフローチャートである。
【符号の説明】
８  撮像レンズ
10  ディジタルカメラ
12  撮像素子 (CCD)
14  タイミング制御部
20  ディジタル信号処理部
21  フレームメモリ (FM)
22  制御部 (CPU)
28  座標メモリ
【図１】
0004421793.tif 000002
【図２】
0004421793.tif 000003
【図３】
0004421793.tif 000004
【図４】
0004421793.tif 000005
【図５】
0004421793.tif 000006
【図６】
0004421793.tif 000007
【図７】
0004421793.tif 000008
【図８】
0004421793.tif 000009
【図９】
0004421793.tif 000010
【図１０】
0004421793.tif 000011
【図１１】
0004421793.tif 000012
【図１２】
0004421793.tif 000013
【図１３】
0004421793.tif 000014
【図１４】
0004421793.tif 000015
【図１５】
0004421793.tif 000016
【図１６】
0004421793.tif 000017