(57)【要約】【課題】ダイナミックレンジの広い画像を撮像する。【解決手段】  半導体基板に二次元アレイ状に配列形成された複数の混在する高感度画素及び低感度画素を有する固体撮像素子と、高感度画素の露光時間ｔ１に対して低感度画素の露光時間ｔ２を短く設定して固体撮像素子を駆動する撮像素子駆動手段と、高感度画素から得られた第１の撮像画像データに対して低感度画素から得られた第２の撮像画像データを合成し第１の撮像画像データよりダイナミックレンジの広い合成画像データを生成する制御手段とを設ける。【選択図】図３
2007288522.tif 000002
【特許請求の範囲】
【請求項１】
半導体基板に二次元アレイ状に配列形成された複数の混在する高感度画素及び低感度画素を備える固体撮像素子の駆動方法において、前記高感度画素の露光時間に対して前記低感度画素の露光時間を短く設定して駆動することを特徴とする固体撮像素子の駆動方法。
【請求項２】
前記高感度画素の画素面積が前記低感度画素の画素面積より広く形成されていることを特徴とする請求項１に記載の固体撮像素子の駆動方法。
【請求項３】
被写体画像の明暗差αが大きい場合には前記低感度画素の露光時間を短くし該明暗差αが小さい場合には該露光時間を長く設定することを特徴とする請求項１または請求項２に記載の固体撮像素子の駆動方法。
【請求項４】
半導体基板に二次元アレイ状に配列形成された複数の混在する高感度画素及び低感度画素を有する固体撮像素子と、前記高感度画素の露光時間に対して前記低感度画素の露光時間を短く設定して前記固体撮像素子を駆動すると共に前記高感度画素から得られた第１の撮像画像データに対して前記低感度画素から得られた第２の撮像画像データを合成し前記第１の撮像画像データよりダイナミックレンジの広い合成画像データを生成する制御手段とを備えることを特徴とする撮像装置。
【請求項５】
前記高感度画素の画素面積が前記低感度画素の画素面積より広く形成されていることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、被写体画像の明暗差αが大きい場合には前記低感度画素の露光時間を短くし該明暗差αが小さい場合には該露光時間を長く設定することを特徴とする請求項４または請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記明暗差αを所定閾値と比較し、該明暗差αが前記所定閾値より大きい場合には前記ダイナミックレンジの広い合成画像を生成し、該明暗差αが前記所定閾値より小さい場合には、前記低感度画素の露光時間を長くして前記高感度画素との感度差を縮めると共に、前記高感度画素と前記低感度画素の夫々から読み出された画像データを用い高解像度の画像データを生成することを特徴とする請求項４乃至請求項６のいずれかに記載の撮像装置。
【請求項８】
前記明暗差αと前記所定閾値とを比較する代わりに、前記ダイナミックレンジの広い画像を合成するか前記高解像度の画像データを生成するかを外部から指示入力する入力手段を備えることを特徴とする請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広ダイナミックレンジの画像を撮像できる撮像装置及び固体撮像素子駆動方法に関する。
【背景技術】
【０００２】
デジタルカメラで被写体画像を撮像する場合、銀塩フイルムカメラに比較して撮像画像のダイナミックレンジが狭いという問題がある。そこで、下記の特許文献１記載のデジタルカメラでは、長時間露光して撮像した第１の画像データと、これに連続し短時間露光して撮像した第２の画像データとを合成し、ダイナミックレンジの広い撮像画像を得るようにしている。
【０００３】
また、下記の特許文献２記載のデジタルカメラでは、固体撮像素子に二次元アレイ状に配列形成する多数の光電変換素子（画素）の半数を大面積の高感度素子にすると共の残り半数を小面積の低感度素子とし、高感度素子による撮像画像と低感度素子による撮像画像とを合成することで、撮像画像のダイナミックレンジを広げている。
【０００４】
【特許文献１】特開２０００―１３８８６８号公報
【特許文献２】特開２００４―２２２１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した従来技術によれば、撮像画像のダイナミックレンジを広げることが可能となる。しかし、更にそれ以上にダイナミックレンジの広い画像をデジタルカメラで撮像したいという要望も高い。
【０００６】
また、特許文献２記載の従来技術では、被写体画像内での高輝度部分と低輝度部分との輝度差が大きくない画像を撮像する場合、低感度素子の撮像画像データは殆ど利用されることがなく、折角設けた低感度素子が無駄になるという問題がある。
【０００７】
本発明の目的は、ダイナミックレンジの広い被写体画像を撮像することが可能で、また、低感度素子が無駄にならない撮像装置及び固体撮像素子の駆動方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の固体撮像素子の駆動方法は、半導体基板に二次元アレイ状に配列形成された複数の混在する高感度画素及び低感度画素を備える固体撮像素子の駆動方法において、前記高感度画素の露光時間に対して前記低感度画素の露光時間を短く設定して駆動することを特徴とする。
【０００９】
本発明の固体撮像素子の駆動方法では、前記高感度画素の画素面積が前記低感度画素の画素面積より広く形成されていることを特徴とする。
【００１０】
本発明の固体撮像素子の駆動方法では、被写体画像の明暗差αが大きい場合には前記低感度画素の露光時間を短くし該明暗差αが小さい場合には該露光時間を長く設定することを特徴とする。
【００１１】
本発明の撮像装置は、半導体基板に二次元アレイ状に配列形成された複数の混在する高感度画素及び低感度画素を有する固体撮像素子と、前記高感度画素の露光時間に対して前記低感度画素の露光時間を短く設定して前記固体撮像素子を駆動すると共に前記高感度画素から得られた第１の撮像画像データに対して前記低感度画素から得られた第２の撮像画像データを合成し前記第１の撮像画像データよりダイナミックレンジの広い合成画像データを生成する制御手段とを備えることを特徴とする。
【００１２】
本発明の撮像装置は、前記高感度画素の画素面積が前記低感度画素の画素面積より広く形成されていることを特徴とする。
【００１３】
本発明の撮像装置の前記制御手段は、被写体画像の明暗差αが大きい場合には前記低感度画素の露光時間を短くし該明暗差αが小さい場合には該露光時間を長く設定することを特徴とする。
【００１４】
本発明の撮像装置の前記制御手段は、前記明暗差αを所定閾値と比較し、該明暗差αが前記所定閾値より大きい場合には前記ダイナミックレンジの広い合成画像を生成し、該明暗差αが前記所定閾値より小さい場合には、前記低感度画素の露光時間を長くして前記高感度画素との感度差を縮めると共に、前記高感度画素と前記低感度画素の夫々から読み出された画像データを用い高解像度の画像データを生成することを特徴とする。
【００１５】
本発明の撮像装置は、前記明暗差αと前記所定閾値とを比較する代わりに、前記ダイナミックレンジの広い画像を合成するか前記高解像度の画像データを生成するかを外部から指示入力する入力手段を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、従来よりダイナミックレンジの広い画像を撮像することが可能となる。また、輝度差が小さな画像を撮像する場合でも低感度画素が無駄になることがなくなる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１８】
図１は、本発明の一実施形態に係るデジタルカメラの構成図である。図示するデジタルカメラは、撮影レンズ１０と、詳細は後述するＣＣＤタイプの固体撮像素子１００と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルカメラの全体を統括制御するＣＰＵ（制御手段）１５は、フラッシュ発光部１６及び受光部１７を制御し、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量調整を行う。
【００１９】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１００に後述する電子シャッタパルス，読み出しパルス，転送パルスなどを出力させ、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。ＣＰＵ１５には、操作部（指示入力手段）２１を通してユーザからの指示が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００２０】
デジタルカメラの電気制御系は、固体撮像素子１００の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２１】
更に、このデジタルカメラの電気制御系は、メインメモリ（フレームメモリ）２４に接続されたメモリ制御部２５と、ガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算しデジタル信号処理部２６が行うホワイトバランス補正のゲインを求める積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２２】
図２は、図１に示す固体撮像素子１００の平面模式図である。図示する固体撮像素子１００の半導体基板１０１上には、多数のフォトダイオード（光電変換素子：画素）１０２ａ，１０２ｂが正方格子状に配列形成されている。
【００２３】
フォトダイオード１０２ａとフォトダイオード１０２ｂとは受光面積が異なり、フォトダイオード１０２ａの受光面積に対してフォトダイオード１０２ｂの受光面積が小面積に形成されている。従って、相対的に大面積のフォトダイオード１０２ａが高感度素子（高感度画素）となり、相対的に小面積のフォトダイオード１０２ｂが低感度素子（低感度画素）となる。半導体基板１０１の受光領域には、高感度素子１０２ａと低感度素子１０２ｂとが交互に混在して配列形成される。
【００２４】
半導体基板１０１に形成されたフォトダイオード列の側部には、垂直方向に延びる電荷結合素子（ＣＣＤ）で構成される垂直電荷転送路（ＶＣＣＤ）１０３が設けられ、フォトダイオード列を構成する各フォトダイオード１０２ａ，１０２ｂと垂直電荷転送路１０３とは、読み出しゲート１０４によって接続される。
【００２５】
半導体基板１０１の下辺部には、各垂直電荷転送路１０３の端部に連接する水平電荷転送路（ＨＣＣＤ）１０５が設けられる。この水平電荷転送路１０５の出力端部には出力アンプ１０６が設けられる。
【００２６】
斯かるＣＣＤタイプの固体撮像素子１００の動作は周知の通りであり、その概略を先に説明する。フォトダイオード１０２が露光され信号電荷が蓄積された後、図１の撮像素子駆動部２０から読み出しゲート１０４に読み出しパルスが印加されると、フォトダイオード１０２の信号電荷が読み出しゲート１０４を通して垂直電荷転送路１０３の所定電位井戸内に読み出される。
【００２７】
そして、撮像素子駆動部２０が垂直転送パルスを固体撮像素子１００に出力すると、垂直電荷転送路１０３上の信号電荷は水平電荷転送路１０５方向に転送され水平電荷転送路１０５に移される。水平転送路転送路１０５は、撮像素子駆動部２０が出力する水平転送パルスで駆動され、その出力端まで転送されてきた信号電荷の電荷量に応じた電圧値信号がアンプ１０６によって出力される。
【００２８】
尚、「垂直」「水平」という用語を使用して説明したが、これは、半導体基板表面に沿う「１方向」「この１方向に対して略直角の方向」という意味である。
【００２９】
図３は、本実施形態に係る固体撮像素子１００の詳細な駆動方法を示すタイミングチャートである。図示する例は、連続して静止画像を撮像する場合を示している。撮像素子駆動部２０が電子シャッタパルスＰ１を固体撮像素子１００に出力すると、この電子シャッタパルス電圧が半導体基板１０１に印加され、高感度素子１０２ａ，低感度素子１０２ｂの残留電荷が基板１０１側に廃棄され、高感度素子１０２ａ，低感度素子１０２ｂは空となる。
【００３０】
電子シャッタパルスＰ１のオフタイミングから、高感度素子１０２ａ，低感度素子１０２ｂの露光が開始され、信号電荷（この例では、電子）が蓄積される。撮像素子駆動部２０から高感度素子１０２ａの読み出しゲート１０４に読み出しパルスＰ２が印加されると、高感度素子１０２ａの露光時間ｔ１（第１の撮像）が終了し、高感度素子１０２ａの信号電荷は、垂直電荷転送路１０３の電位井戸内に移され保持される。
【００３１】
その次に、再び電子シャッタパルスＰ３が撮像素子駆動部２０から半導体基板１０１に印加されると、高感度素子１０２ａ，低感度素子１０２ｂの残留電荷が基板１０１側に廃棄され、空となる。このとき、垂直電荷転送路１０３上の信号電荷はそのまま保持される。
【００３２】
この電子シャッタパルスＰ３のオフタイミングから、高感度素子１０２ａ，低感度素子１０２ｂの露光が開始され、信号電荷が蓄積される。次に、低感度素子１０２ｂの読み出しゲート１０４に読み出しパルスＰ４が印加されると、低感度素子１０２ｂの露光時間ｔ２（第２の撮像）が終了し、低感度素子１０２ｂの信号電荷は、垂直電荷転送路１０３の電位井戸内に移され、保持される。図２に示す固体撮像素子１００の場合、垂直電荷転送路１０３上には、高感度素子１０２ａによる信号電荷と低感度素子１０２ｂによる信号電荷とが交互に並ぶことになる。
【００３３】
次に、垂直電荷転送路１０３に撮像素子駆動部２０から垂直転送パルスＰ５が印加されると、垂直電荷転送路１０３上の、高感度素子１０２ａによる信号電荷と低感度素子１０２ｂによる信号電荷とが、水平電荷転送路１０５の方向に転送され、前述したようにして、アンプ１０６から各信号電荷の電荷量に応じた電圧値信号が図１のアナログ信号処理部２２に出力される。
【００３４】
図４は、図１に示すＣＰＵ１５が実行する撮像処理手順を示すフローチャートである。固体撮像素子１００からは、静止画像撮像前に動画状態で次々と被写体画像データが出力され、信号処理部２６は各被写体画像データを信号処理している。ＣＰＵ１５は、信号処理した結果の被写体画像の解析結果をデジタル信号処理部２６から受け取り、明るい部分と暗い部分の輝度差αを求める（ステップＳ１）。
【００３５】
次に、輝度差αが所定閾値Ａ以上あるか否かを判定する（ステップＳ２）。輝度差αが所定閾値Ａ以上ある明暗差の大きい画像の場合には、ダイナミックレンジの広い被写体を生成する必要があるため、ステップＳ３に進み、図３で説明した露光時間ｔ１，ｔ２を決定する。
【００３６】
露光時間ｔ１，ｔ２は、図１の受光部１７が得た情報や、動画状態で取り込まれた被写体画像データに基づき決定された絞り量や露光量に応じて決定される。このとき、低感度素子１０２ｂの露光時間ｔ２は、第１の露光時間ｔ１等にも依存して決定されるが、上記の輝度差α分の１（＝１／α）に比例して決定される。
【００３７】
所定閾値Ａ以下で明暗差が大きい被写体の場合、合成後の撮像画像における「明」部分への寄与率は、高感度素子１０２ａの信号より低感度素子１０２ｂの信号の方が大きく、「暗」部分への寄与率は逆となって低感度素子１０２ｂの信号の方が小さくなる。
【００３８】
このため、明暗差が大きい場合には露光時間ｔ２を短くして低感度素子１０２ｂを飽和させない様にし（「明」部分を撮像した高感度素子１０２ａは飽和する可能性が高い。）、明暗差が小さな場合には露光時間ｔ１を長くする。
【００３９】
次のステップＳ４では、レリーズボタンの押下を待って撮像を行い（図３で説明した第１の撮像と第２の撮像）、ステップＳ５で、高感度素子１０２ａによる撮像画像データと低感度素子１０２ｂによる撮像画像データを固体撮像素子１００から出力させる。
【００４０】
そして、ＣＰＵ１５は、ステップＳ６において、デジタル信号処理部２６に対し、高感度素子１０２ａによる撮像画像データの信号処理と低感度素子１０２ｂによる撮像画像データの信号処理を行わせると共に、両撮像画像データの合成処理を行わせ、この図４の処理を終了する。この合成処理については、本出願人が先に特許出願（例えば特許文献２）し公知にした合成処理方法を採用できる。
【００４１】
特許文献２に記載されているデジタルカメラでは、高感度素子と低感度素子とを同時に同時間だけ露光して得た高感度画像データと低感度画像データとを合成しているが、本実施形態では、低感度素子による画像データの露光時間を短くしているため、特許文献２記載のデジタルカメラよりダイナミックレンジの広い画像を合成することが可能となる。
【００４２】
明暗差が小さな被写体の場合、即ち、明暗差αが所定閾値Ａより小さな被写体の場合、高感度素子１０２ａの信号電荷量だけで明暗差を区別することが可能となる。しかし、このとき、低感度素子１０２ｂによる信号を利用しないと、低感度素子１０２ｂが無駄となってしまう。
【００４３】
そこで、本実施形態のデジタルカメラでは、ステップＳ２の判定の結果、α＜Ａとなった場合にはステップＳ２からステップＳ７に進み、露光時間ｔ２を長く設定する。
【００４４】
高感度素子１０２ａと低感度素子１０２ｂは、面積差によって感度差を設け、ダイナミックレンジの広い画像を合成できる様にしている。しかし、このステップＳ７では、素子１０２ａと素子１０２ｂとの感度差が縮まる様に露光時間ｔ２を設定する。
【００４５】
図３に図示した例は、露光時間ｔ２を露光時間ｔ１の後に設け、しかも露光時間ｔ２を短くした例であるが、露光時間ｔ１と露光時間ｔ２の露光開始時点を同時にし、露光終了時点を時間ｔ２の方が長くなるように設定することで、素子１０２ｂの感度を素子１０２ａの感度と同じにすることも可能である。
【００４６】
次のステップＳ８で撮像を行い、ステップＳ９で固体撮像素子１００からの信号出力を行い、ステップＳ１０で画像処理を行い、この図４の処理を終了する。
【００４７】
ステップＳ１０での画像処理は、ステップＳ６での画像処理と異なる信号処理を行う。ステップＳ６での画像合成処理では、低感度素子１０２ｂの信号を用いて高感度素子１０２の信号のダイナミックレンジの拡大を行っており、合成画像の解像度としては、図２に示す高感度素子１０２ａの素子数が解像度となる。つまり、半導体基板１０１に設けた画素数の半分の解像度になる。
【００４８】
これに対し、ステップＳ１０での画像処理は、露光時間ｔ２を長くして面積比による素子１０２ａ，１０２ｂ間の感度差を無くしているため、素子１０２ａの信号と素子１０２ｂの信号を同等に扱い、半導体基板１０１に設けた画素数分の高解像度の撮像画像データを生成する。
【００４９】
素子１０２ａと素子１０２ｂの面積比が大きい場合には、露光時間ｔ２をかなり長くしないと、両素子１０２ａ，１０２ｂの感度を同じにすることができない。この様な場合には、露光時間ｔ２を或る程度の長さとし、足りない分は素子１０２ｂの信号を増幅補正して対処する。
【００５０】
以上述べた実施形態によれば、高感度素子と低感度素子を有する固体撮像素子を搭載したデジタルカメラで従来よりも広いダイナミックレンジの画像を撮像することが可能となり、また、明暗差の小さな被写体の場合には高解像度の画像を撮像することが可能となる。
【００５１】
尚、上述した実施形態では、高感度素子１０２ａと低感度素子１０２ｂの画素面積による感度差を、素子面積（フォトダイオードの面積）の差によって付けたが、フォトダイオードの面積は同一とし、その上に積層するマイクロレンズの面積差で画素面積を変えることも可能である。また、マイクロレンズの有無によって画素面積に差を設け感度差を付けることも可能である。
【００５２】
また、上記実施形態のステップＳ２では広ダイナミックレンジの画像を撮像するか高解像度の画像を撮像するかを輝度差αと所定閾値Ａとによって自動選択したが、広ダイナミックレンジを選択するか高解像度を選択するかをユーザが操作部２１から指示入力する構成とすることも可能である。
【産業上の利用可能性】
【００５３】
本発明によれば、撮像画像のダイナミックレンジを従来より拡大することが可能になるという効果を奏し、デジタルカメラ等に適用すると有用である。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施形態に係るデジタルカメラの機能ブロック図である。
【図２】図１に示す固体撮像素子の表面模式図である。
【図３】図１に示す撮像素子駆動部が固体撮像素子を駆動するタイミングチャートである。
【図４】図１に示す統括制御用ＣＰＵが実行する撮像処理手順を示すフローチャートである。
【符号の説明】
【００５５】
１０  撮影レンズ
１５  統括制御用ＣＰＵ
２０  撮像素子駆動部
２１  操作部
２６  デジタル信号処理部
１００  固体撮像素子
１０２ａ  高感度素子（大面積のフォトダイオード）
１０２ｂ  低感度素子（小面積のフォトダイオード）
１０３  垂直電荷転送路（ＶＣＣＤ）
１０４  読み出しゲート
１０５  水平電荷転送路（ＨＣＣＤ）
【図１】
2007288522.tif 000003
【図２】
2007288522.tif 000004
【図３】
2007288522.tif 000005
【図４】
2007288522.tif 000006