(57)【要約】【課題】固体撮像素子の各画素が大面積の主画素と小面積の副画素とに分割され、主画素と副画素が絞りの絞り量に対して感度特性が異なる場合でも感度補正を良好に行う。【解決手段】入射光量を絞る絞り１２と、絞り１２を通した入射光を受光する固体撮像素子１１であって複数の画素がアレイ状に配列され前記各画素が画素中心から外れた素子分離帯によって大面積の主画素と小面積の副画素とに分割された固体撮像素子１１と、前記各画素の前記主画素から読み出された高感度画像信号と前記各画素の前記副画素から読み出された低感度画像信号とを合成する合成処理手段２６と、絞り１２の絞り量に応じて前記高感度画像信号と前記低感度画像信号の夫々のゲイン量を別々に調整して前記合成処理手段２６に前記合成を行わせる制御手段１５とを備える。【選択図】  図４
2004222184.tif 000002
【特許請求の範囲】
【請求項１】
入射光量を絞る絞りと、該絞りを通した入射光を受光する固体撮像素子であって複数の画素がアレイ状に配列され前記各画素が画素中心から外れた素子分離帯によって大面積の主画素と小面積の副画素とに分割された固体撮像素子と、前記各画素の前記主画素から読み出された高感度画像信号と前記各画素の前記副画素から読み出された低感度画像信号とを合成する合成処理手段と、前記絞りの絞り量に応じて前記高感度画像信号と前記低感度画像信号の夫々のゲイン量を別々に調整して前記合成処理手段に前記合成を行わせる制御手段とを備えることを特徴とするデジタルカメラ。
【請求項２】
前記制御手段は、前記絞りが開放側になったとき前記高感度画像信号のゲイン量を増大させると共に前記低感度画像信号のゲイン量を減少させ、前記絞りが小絞り側になったとき前記高感度画像信号のゲイン量を減少させると共に前記低感度画像信号のゲイン量を増大させることを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
前記制御手段は、前記低感度画像信号のゲイン量を増大させたとき前記高感度画像信号に合成する該低感度画像信号の合成割合を減少させることを特徴とする請求項２に記載のデジタルカメラ。
【請求項４】
入射光量を絞る絞りと、該絞りを通した入射光を受光する固体撮像素子であって複数の画素がアレイ状に配列され前記各画素が画素中心から外れた素子分離帯によって大面積の主画素と小面積の副画素とに分割された固体撮像素子と、前記各画素の前記主画素から読み出された高感度画像信号と前記各画素の前記副画素から読み出された低感度画像信号とを合成する合成処理手段と、該合成処理手段が前記合成を行うとき前記絞りの絞り量が小さくなるほど前記高感度画像信号に対する前記低感度画像信号の合成割合を小さくさせる制御手段とを備えることを特徴とするデジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各画素を大面積の高感度画素（以下、主画素ともいう。）と小面積の低感度画素（以下、副画素ともいう。）とに分割した固体撮像素子を備えるデジタルカメラに関する。
【０００２】
【従来の技術】
図８は、表面に多数の画素がアレー状に配置されたＣＣＤ等の固体撮像素子の１画素分の断面図である。この固体撮像素子を構成する半導体基板１０１に形成された受光部１０２の上方には、開口１０３ａを有する遮光膜１０３が配置され、更に遮光膜１０３の上方にマイクロレンズ１０４が設けられている。デジタルカメラの図示しない光学レンズ系及び絞りを通して固体撮像素子の表面に入射した光は、各マイクロレンズ１０４によって集光され、遮光膜１０３の開口１０３ａを通して各画素の受光部１０２に入射する様になっている。
【０００３】
図９（ａ）は、デジタルカメラの絞りが開放側すなわちＦ値が小のときの各画素における錯乱円を示す図であり、図９（ｂ）は、絞りが小絞り側すなわちＦ値が大のときの各画素における錯乱円を示す図である。図８に一点鎖線で示す光線１０５は、絞りが開放側にあるときの入射光であり、図９（ａ）に示す様にその錯乱円１０５ａは遮光膜１０３の開口１０３ａより広がってしまい、入射光の一部が受光部１０２に届かず、光量ロスが発生してしまう。これに対し、図８に実線で示す光線１０６は、絞りが小絞り側にあるときの入射光であり、図９（ｂ）に示す様にその錯乱円１０６ａは遮光膜１０３の開口１０３ａ内に全て入り、光量ロスは発生しない。
【０００４】
この様に、デジタルカメラでは絞りに応じて光量ロスが発生してしまうため、図１０に示す様に、絞りが或るＦ値以下の開放側になると、相対感度が低下してしまうという問題が発生する。
【０００５】
そこで、従来のデジタルカメラでは、特開平６―１７８１９８号公報（特許文献１）に記載されている様に、絞りに応じて固体撮像素子の感度補正を行う様にしている。
【０００６】
【特許文献１】
特開平６―１７８１９８号公報
【０００７】
【発明が解決しようとする課題】
デジタルカメラに搭載する固体撮像素子には、各画素を大面積の高感度画素と小面積の低感度画素とに分割し、高感度画素による撮像画像データと低感度画素による撮像画像データとを合成して、画像の広ダイナミックレンジ化を図ることが提案されている。
【０００８】
この様に広ダイナミックレンジ化を図る固体撮像素子を搭載したデジタルカメラでも、図８，図９で説明したと同様に、絞り応じて光量ロスが生じるため、感度補正が必要となる。しかし、上述した特許文献１の固体撮像素子は、各画素が高感度画素と低感度画素とに分割されている訳ではないため、この感度補正の技術を、そのまま各画素が高感度画素と低感度画素とに分割された固体撮像素子を搭載したデジタルカメラに適用することができない。
【０００９】
また、低感度画素の蓄積電荷はＳ／Ｎが高感度画素より悪いため高感度画像信号と低感度画像信号とを単に合成すると、ノイズの多い合成画像が生成されてしまう虞があるという問題もある。
【００１０】
本発明の第１の目的は、各画素を大面積の高感度画素と小面積の低感度画素とに分割した固体撮像素子の感度補正を適正に行うことができるデジタルカメラを提供することにある。
【００１１】
本発明の第２の目的は、ノイズの少ない合成画像を生成することができるデジタルカメラを提供することにある。
【００１２】
【課題を解決するための手段】
上記第１の目的を達成するデジタルカメラは、入射光量を絞る絞りと、該絞りを通した入射光を受光する固体撮像素子であって複数の画素がアレイ状に配列され前記各画素が画素中心から外れた素子分離帯によって大面積の主画素と小面積の副画素とに分割された固体撮像素子と、前記各画素の前記主画素から読み出された高感度画像信号と前記各画素の前記副画素から読み出された低感度画像信号とを合成する合成処理手段と、前記絞りの絞り量に応じて前記高感度画像信号と前記低感度画像信号の夫々のゲイン量を別々に調整して前記合成処理手段に前記合成を行わせる制御手段とを備えることを特徴とする。
【００１３】
この構成により、絞りの絞り量に対して感度特性の異なる主画素と副画素の夫々の画像信号を適切に感度補正することができ、画質の優れた合成画像を生成することができる。
【００１４】
本発明のデジタルカメラの前記制御手段は、前記絞りが開放側になったとき前記高感度画像信号のゲイン量を増大させると共に前記低感度画像信号のゲイン量を減少させ、前記絞りが小絞り側になったとき前記高感度画像信号のゲイン量を減少させると共に前記低感度画像信号のゲイン量を増大させることを特徴とする。
【００１５】
この構成により、絞りの絞り量に対して感度特性の異なる主画素と副画素の夫々の画像信号を最適に感度補正することができ、画質の優れた合成画像を生成することができる。
【００１６】
本発明のデジタルカメラの前記制御手段は、前記低感度画像信号のゲイン量を増大させたとき前記高感度画像信号に合成する該低感度画像信号の合成割合を減少させることを特徴とする。
【００１７】
この構成により、ノイズ量の多い副画素から読み出した低感度画像信号のゲイン量を増大させたとき低感度画像信号の合成割合を低下させるため、ノイズの多い合成画像の生成を回避可能となり、上記第２の目的も達成される。
【００１８】
上記第２の目的を達成するデジタルカメラは、入射光量を絞る絞りと、該絞りを通した入射光を受光する固体撮像素子であって複数の画素がアレイ状に配列され前記各画素が画素中心から外れた素子分離帯によって大面積の主画素と小面積の副画素とに分割された固体撮像素子と、前記各画素の前記主画素から読み出された高感度画像信号と前記各画素の前記副画素から読み出された低感度画像信号とを合成する合成処理手段と、該合成処理手段が前記合成を行うとき前記絞りの絞り量が小さくなるほど前記高感度画像信号に対する前記低感度画像信号の合成割合を小さくさせる制御手段とを備えることを特徴とする。
【００１９】
この構成により、副画素への入射光量が絞りによって更に減少して蓄積電荷のＳ／Ｎが劣化したとき低感度画像信号の合成割合を低下させるため、合成画像のノイズ量を低減させることができる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００２１】
図１は、本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。
【００２２】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００２３】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００２４】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２５】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２６】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２７】
図２は、本実施形態で使用する固体撮像素子１１の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００２８】
そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素（副画素）２と、残りの約４／５を占める高感度画素（主画素）３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。
【００２９】
図３は、図２に示す画素１の１画素分の詳細上面図である。画素１は、素子分離帯６によって主画素３と副画素２とに分割されているが、素子分離帯６は、画素１の中心点から外れた位置を通るようにして画素分割を行っており、このため、副画素２は、画素１の周辺部分に偏在するように形成される。画素１の上部には開口７ａを有する遮光膜７が配置され、更にその上部には図示しないマイクロレンズが配置される。
【００３０】
尚、固体撮像素子１１は、図２に示す様なハニカム画素配置のＣＣＤを例に説明したが、ベイヤー方式のＣＣＤやＣＭＯＳセンサでも良い。
【００３１】
図４は、デジタル信号処理部２６の処理構成図である。このデジタル信号処理部２６は、主画素３から読み出された高感度画像信号と副画素２から読み出された低感度画像信号とを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、Ａ／Ｄ変換回路２３から出力される高感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ａと、オフセット補正回路４１ａの出力信号のホワイトバランスをとるゲイン補正回路４２ａと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａと、図１に示すＡ／Ｄ変換回路２３から出力される低感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ｂと、オフセット補正回路４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ｂとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路４２ａ，４２ｂとガンマ補正回路４３ａ，４３ｂとの間で行う。
【００３２】
デジタル信号処理部２６は、更に、各ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００３３】
上述した画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像信号と、ガンマ補正回路４３ｂから出力される低感度画像信号とを取り込み、更に、ＣＰＵ１５が絞り１２のＦ値から決定した高感度画像信号に対するゲインｆ１と低感度画像信号に対するゲインｆ２とを取り込み、次の数１に基づいて画素単位に画像合成を行い、出力する。
【数１】
ｄａｔａ＝ｆ１・ｈｉｇｈ＋ｆ２・ｌｏｗ
ここで、ｈｉｇｈ：高感度画像信号のガンマ補正後のデータ
ｌｏｗ：低感度画像信号のガンマ補正後のデータ
ｆ１：ｈｉｇｈに対するゲイン
ｆ２：ｌｏｗに対するゲイン
である。
【００３４】
次に、本実施形態に係るデジタルカメラの感度補正について、図５を参照して説明する。図５（ａ）は、絞り１２が開放側すなわちＦ値が小のときの各画素１における錯乱円８を示す図であり、図５（ｂ）は、絞り１２が小絞り側すなわちＦ値が大のときの各画素１における錯乱円９を示す図である。
【００３５】
本実施形態の固体撮像素子１１に様に、画素１の周辺部に偏在するように副画素２が主画素３から分割される構成では、その上部に遮光膜７が配置されると、画素１より小面積な遮光膜７の開口７ａから覗く副画素２の開口部２ａは、開口７ａの周辺に偏在することになる。
【００３６】
このため、主画素３では、絞りが開放側になって、図５（ａ）に示す様に、錯乱円８が開口７ａより広くなると、光量ロスが生じて感度低下を起こし、絞りが小絞り側になると、図５（ｂ）に示す様に、光量ロスは生じないため、感度低下は起きない。従って、主画素３では、Ｆ値と相対感度の関係は従来の図１０と同様となり、Ｆ値が小さい（開放側）ほど相対感度の低下が大きくなる。
【００３７】
これに対して、副画素２では、絞りが絞り側になると、図５（ｂ）に示すように、副画素２の開口部２ａへの入射光量は著しく小さくなって感度低下を起こし、絞りが開放側になると、図５（ａ）に示すように、副画素２の開口部２ａの全面積で受光できるため、感度は高い。
【００３８】
即ち、副画素２のＦ値と相対感度との関係は、図６に示すように、Ｆ値が大きくなるほど、即ち、絞り１２を絞るほど感度低下を引き起こす。このため、主画素３によって撮像された高感度画像信号と副画素２によって撮像された低感度画像信号とを合成する場合に、主画素３と副画素２の絞りに対する相対感度の関係を考慮する必要が生じる。
【００３９】
そこで本実施形態では、高感度画像信号と低感度画像信号とを上記の数１に従って合成することとしている。この合成処理を行う場合、ＣＰＵ１５は、絞り１２のＦ値に応じて、例えば図示しないＲＯＭ等に格納してあるルックアップテーブルを参照して高感度画像信号に対するゲイン値ｆ１と低感度画像信号に対するゲイン値ｆ２を読み出し、これらの値ｆ１，ｆ２を画像合成処理回路４４に出力する。
【００４０】
上記のルックアップテーブルには、次の様にゲイン値ｆ１，ｆ２が設定されている。即ち、上述した関係により、
2004222184.tif 000003
となる。
【００４１】
ｆ１，ｆ２値をＦ値に応じてどの様な関数で大きくしたり小さくしたりするかは、主画素３と副画素２の分割の仕方や、絞り１２や遮光膜７の開口７ａと主画素３，副画素２との関係によって定まるため、デジタルカメラの設計に依存するが、上記の大小関係を満たさないと、良好な感度補正を行うことはできない。
【００４２】
この様に、本実施形態に係るデジタルカメラでは、主画素３と副画素２に分割した画素を有する固体撮像素子を搭載したデジタルカメラで、主画素３と副画素２の絞りに対する感度特性が異なることを考慮した感度補正を行うため、画質の高い合成画像を得ることが可能となる。
【００４３】
次に、本発明の第２の実施形態に係るデジタルカメラについて説明する。この第２の実施形態に係るデジタルカメラは、第１の実施形態に係るデジタルカメラと大部分は同じであるが、上記の数１に代えて次の数２を用いる点が異なる。
【００４４】
【数２】
ｄａｔａ＝（１−α）・ｆ１・ｈｉｇｈ＋α・ｆ２・ｌｏｗ
ここで、αは、高感度画像信号と低感度画像信号の合成割合を変化させる変数である。
【００４５】
上述した第１の実施形態で説明したように、絞り１２が小絞り側に近いほど副画素２から読み出した低感度画像信号に大きなゲイン値ｆ２を掛けることになる。
【００４６】
副画素２は、元々小面積で入射光量が少ないため、蓄積電荷のＳ／Ｎは、大面積の主画素３に対して悪く、絞り１２を絞るほど低感度画像信号中に混入しているノイズ量は多くなってしまう。このような低感度画像信号に大きなゲイン値ｆ２を乗算すると、更にノイズ量が多くなってしまい、合成画像の画質を劣化させる虞がある。
【００４７】
そこで、本実施形態に係るデジタルカメラでは、絞り１２を絞る程、合成処理するときの低感度画像信号の合成割合を小さくし（上記の数２でαの値を小さくする）、ノイズ低減を図る。
【００４８】
図７は、このデジタルカメラに搭載されているプログラム線図である。線Ｉがプログラムモードでの絞りとシャッタースピードとの関係を示し、今、撮影条件からＣＰＵ１５が算出した位置がＡ点であったとする。ここでユーザが操作部２１を操作して、例えば絞り優先あるいはシャッター優先でＢ点に移動させたとする。
【００４９】
この場合、絞りはＦ５．６→Ｆ１１と小絞り側へシフトするため、上述した低感度画像信号用のゲイン値ｆ２は「大」となる。そこで、本実施形態では、絞りが小絞り側にシフトしたことをＣＰＵ１５が知り、上記のαの値を小さくすることで、ノイズの多い合成画像が生成されてしまうのを回避する。
【００５０】
この様に、本実施形態によれば、絞りが小絞り側にシフトしたとき、低感度画像信号の合成割合を低下させるため、合成画像のノイズ低減を図ることが可能になる。
【００５１】
尚、上述した各実施形態では、高感度画像信号と低感度画像信号とを合成処理する場合についてのゲイン値ｆ１，ｆ２や合成割合のα値について述べたが、図５（ｂ）から分かる通り、副画素２に光が入射しなくなってしまう絞り位置が存在する。このように副画素２に光が入射しない小絞り位置になったとき（例えば図６でＦ８を越える絞り位置では相対感度の変化はなくなる。）の低感度画像信号は全量がノイズと判断できるため、斯かる小絞り位置のＦ値を越える場合には低感度画像信号は使用せずに高感度画像信号のみを用いて完成画像データを生成し、それ以外の場合にのみ、上記の数１，数２を用いて画像合成する構成とするのが良い。
【００５２】
【発明の効果】
本発明によれば、各画素が主画素と副画素に分割された固体撮像素子を搭載するデジタルカメラによる撮像画像の感度補正を画素分割の特性に合わせて良好に行うことが可能となり、また、ノイズの多い合成画像の生成が回避される。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るデジタルスチルカメラのブロック構成図である。
【図２】図１に示す固体撮像素子の表面模式図である。
【図３】図２に示す１画素分の詳細上面図である。
【図４】図１に示すデジタル信号処理部の処理構成図である。
【図５】（ａ）は図３に示す１画素分の絞り開放時の入射光錯乱円と遮光膜開口との位置関係を示す図であり、（ｂ）は絞り小絞り時の入射光錯乱円と遮光膜開口との位置関係を示す図である。
【図６】図２に示す副画素の絞り（Ｆ値）と相対感度との関係を示すグラフである。
【図７】本発明の第２の実施形態に係るデジタルカメラに搭載されたプログラム線図である。
【図８】従来の固体撮像素子の一画素分の断面図である。
【図９】（ａ）は絞り開放時の図８に示す一画素分の遮光膜開口と入射光錯乱円との位置関係を示す図であり、（ｂ）は絞り小絞り時の図８に示す一画素分の遮光膜開口と入射光錯乱円との位置関係を示す図である。
【図１０】図８に示す画素の絞り（Ｆ値）と相対感度との関係を示すグラフである。
【符号の説明】
１  画素
２  低感度画素（副画素）
２ａ  低感度画素開口部
３  高感度画素（主画素）
３ａ  高感度画素開口部
６  素子分離帯
７  遮光膜
７ａ  開口
８，９  錯乱円
１０  レンズ
１１  固体撮像素子
１５  ＣＰＵ
２３  Ａ／Ｄ変換器
２６  デジタル信号処理部
２９  記録媒体
４４  画像合成処理回路
【図１】
2004222184.tif 000004
【図２】
2004222184.tif 000005
【図３】
2004222184.tif 000006
【図４】
2004222184.tif 000007
【図５】
2004222184.tif 000008
【図６】
2004222184.tif 000009
【図７】
2004222184.tif 000010
【図８】
2004222184.tif 000011
【図９】
2004222184.tif 000012
【図１０】
2004222184.tif 000013