(57)【要約】【課題】撮像素子を測光センサとして用いて露光制御を行うにあたり、コストの増加や撮像された画像への影響を抑えつつ、撮像素子のダイナミックレンジの狭さを補うことを可能とする。【解決手段】撮像装置１００は、受光量に応じて生成された電荷を蓄積する光電変換部と、その光電変換部が蓄積した電荷を転送して保持し、その保持した電荷量に基づいた画素信号を出力する保持部とを有する画素が複数配列された撮像素子１０３を備える。また、撮像装置１００は、撮像素子１０３の駆動を制御するとともに、複数の画素から出力された画素信号の値に基づいて露光制御を行う制御部１１４を備える。制御部１１４は、光電変換部が蓄積した電荷の保持部への転送前に、光電変換部から溢れて保持部に保持された余剰電荷の電荷量に基づいた余剰信号を取得し、画素信号及び余剰信号の値に基づいて露光制御を行う。【選択図】図１
2010206719.tif 000002
【特許請求の範囲】
【請求項１】
受光量に応じた電荷を生成し、当該生成された電荷を蓄積する光電変換部と、前記光電変換部が蓄積した電荷を転送して保持し、当該保持した電荷量に基づいた画素信号を出力する保持部とを有する画素が複数配列された撮像手段と、
前記撮像手段の駆動を制御するとともに、前記複数の画素から出力された画素信号の値に基づいて露光制御を行う制御手段と、
を備え、
前記制御手段は、前記光電変換部が蓄積した電荷の前記保持部への転送前に、当該光電変換部から溢れて当該保持部に保持された余剰電荷の電荷量に基づいた余剰信号を取得し、前記画素信号及び前記余剰信号の値に基づいて前記露光制御を行うことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記撮像手段の全画素数に対する、前記余剰信号を出力する画素数の割合が、予め設定された第１の値以上である場合に、前記余剰信号の値を前記露光制御に用いることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記撮像手段の全画素数に対する、前記画素信号の値が前記光電変換部が飽和した状態を示す値である画素数の割合が、予め設定された第２の値以上である場合に、前記余剰信号の値を前記露光制御に用いることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、前記余剰電荷が前記保持部に保持された状態で、前記光電変換部が蓄積した電荷を前記保持部へ転送させ、当該光電変換部が蓄積した電荷と前記余剰電荷とを合成した電荷量に基づいた合成信号を前記複数の画素から取得し、当該合成信号の値に基づいて前記露光制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
受光量に応じた電荷を生成し、当該生成された電荷を蓄積する光電変換部と、前記光電変換部が蓄積した電荷を転送して保持し、当該保持した電荷量に基づいた画素信号を出力する保持部とを有する画素が複数配列された撮像手段を備える撮像装置の制御方法であって、
前記撮像手段の駆動を制御するとともに、前記複数の画素から出力された画素信号の値に基づいて露光制御を行う制御工程を含み、
前記制御工程は、前記光電変換部が蓄積した電荷の前記保持部への転送前に、当該光電変換部から溢れて当該保持部に保持された余剰電荷の電荷量に基づいた余剰信号を取得し、前記画素信号及び前記余剰信号の値に基づいて前記露光制御を行うことを特徴とする撮像装置の制御方法。
【請求項６】
請求項１乃至４のいずれか一項に記載の撮像装置と、
前記撮像装置を用いて得られた画像データを表示する表示手段と、
前記画像データを記録媒体に記録する記録手段と、
を備えることを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法及びカメラに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラなどの撮像装置では、撮像素子を測光センサとして用いて露光制御（以下、撮像面ＡＥと呼ぶ）を行うものがある。しかしながら、一般に撮像素子は、測光センサに比べてダイナミックレンジが狭い。よって、撮像面ＡＥでは、被写体が急激に明るくなるなどの場面変化があった場合に露光オーバーとなりやすく、露光オーバーの状態から露光制御が行われることで露光制御の応答が遅くなることがあった。
【０００３】
この撮像面ＡＥにおける露光制御の応答性を遅くする要因である撮像素子のダイナミックレンジの狭さを補う手法として、特許文献１には、撮像素子内にスイッチを設けて画素の出力を線形出力と対数出力とに切り替えることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、撮像面ＡＥを行うにあたり、撮像素子内に新たなスイッチを設けなければならず、コスト高を生じたり、スイッチに要する分だけ受光面積が小さくなることで撮像された画像に影響が生じることがあった。
【０００６】
本発明は、このような従来技術の課題を少なくとも１つ解決することを目的としてなされたものである。本発明の目的は、撮像素子を測光センサとして用いて露光制御を行うにあたり、コストの増加や撮像された画像への影響を抑えつつ、撮像素子のダイナミックレンジの狭さを補うことが可能な撮像装置、その制御方法及びカメラを提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、受光量に応じた電荷を生成し、当該生成された電荷を蓄積する光電変換部と、前記光電変換部が蓄積した電荷を転送して保持し、当該保持した電荷量に基づいた画素信号を出力する保持部とを有する画素が複数配列された撮像手段と、前記撮像手段の駆動を制御するとともに、前記複数の画素から出力された画素信号の値に基づいて露光制御を行う制御手段と、を備え、前記制御手段は、前記光電変換部が蓄積した電荷の前記保持部への転送前に、当該光電変換部から溢れて当該保持部に保持された余剰電荷の電荷量に基づいた余剰信号を取得し、前記画像信号及び前記余剰信号の値に基づいて前記露光制御を行うことを特徴とする本発明による撮像装置によって達成される。
【０００８】
また、上記目的は、受光量に応じた電荷を生成し、当該生成された電荷を蓄積する光電変換部と、前記光電変換部が蓄積した電荷を転送して保持し、当該保持した電荷量に基づいた画素信号を出力する保持部とを有する画素が複数配列された撮像手段を備える撮像装置の制御方法であって、前記撮像手段の駆動を制御するとともに、前記複数の画素から出力された画素信号の値に基づいて露光制御を行う制御工程を含み、前記制御工程は、前記光電変換部が蓄積した電荷の前記保持部への転送前に、当該光電変換部から溢れて当該保持部に保持された余剰電荷の電荷量に基づいた余剰信号を取得し、前記画像信号及び前記余剰信号の値に基づいて前記露光制御を行うことを特徴とする本発明による撮像装置の制御方法によっても達成される。
【発明の効果】
【０００９】
本発明によれば、撮像素子を測光センサとして用いて露光制御を行うにあたり、コストの増加や撮像された画像への影響を抑えつつ、撮像素子のダイナミックレンジの狭さを補うことができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置のブロック図である。
【図２】第１の実施形態に係る撮像素子のブロック図である。
【図３】第１の実施形態に係る撮像素子の一画素分の断面構造を示す図である。
【図４】第１の実施形態に係る撮像素子の信号読み出し動作を説明するためのタイミングチャートである。
【図５】第１の実施形態に係る撮像装置のライブビュー撮像時における読み出しシーケンスを説明するための図である。
【図６】第１の実施形態に係る飽和光量信号の読み出し動作を説明するためのタイミングチャートである。
【図７】第１の実施形態に係るライブビュー撮像処理を示すフローチャートである。
【図８】第１の実施形態に係るＡＥ制御パラメータの算出を示すフローチャートである。
【図９】第２の実施形態に係る撮像素子の信号読み出し動作を説明するためのタイミングチャートである。
【図１０】第２の実施形態に係るライブビュー撮像処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。
【００１２】
［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００のブロック図である。図１に示すように、撮像装置１００は、光学系１０１、メカニカルシャッタ１０２を介して撮像素子１０３上に結像された被写体像を光電変換により撮像するカメラである。光学系１０１は、レンズおよび絞りであり、駆動回路１０７により制御される駆動部（図示しない）によりレンズ位置や絞り値が調整される。メカニカルシャッタ１０２（メカシャッタと図示する）は、駆動回路１０７による制御の下、所定の露光時間で撮像素子１０３を露光させる。撮像素子１０３は、駆動回路１０７の制御の下、被写体像を光電変換した画像データ（アナログ信号）をＣＤＳ回路１０４へ出力する。なお、撮像素子１０３の詳細については後述する。
【００１３】
ＣＤＳ回路１０４は、撮像素子１０３から出力された画像データに対して相関二重サンプリング（Correlated Double Sampling）等のアナログ信号処理を行い、Ａ／Ｄ変換器１０５へ出力する。Ａ／Ｄ変換器１０５は、ＣＤＳ回路１０４から出力された画像データ（アナログ信号）をデジタル信号に変換し、信号処理回路１０８へ出力する。タイミング信号発生回路１０６は、制御部１１４の制御の下、撮像素子１０３、ＣＤＳ回路１０４及びＡ／Ｄ変換器１０５の動作のタイミング信号を発生する。駆動回路１０７は、制御部１１４の制御の下、光学系１０１、メカニカルシャッタ１０２及び撮像素子１０３の駆動を制御する。
【００１４】
信号処理回路１０８は、制御部１１４の制御の下、撮像素子１０３で撮像されてＡ／Ｄ変換器１０５から出力された画像データに必要な信号処理を行う。画像メモリ１０９は、制御部１１４の制御の下、信号処理された画像データを記憶する。記録媒体１１０は、半導体メモリやハードディスクドライブなどであり、コネクタ（図示しない）などのインターフェースを介して撮像装置１００と着脱可能に接続する。記録回路１１１は、制御部１１４の制御の下、信号処理された画像データを記録媒体１１０へ記録する。
【００１５】
画像表示装置１１２は、ＬＣＤ（Liquid Crystal Display）などであり、信号処理された画像データを表示する。表示回路１１３は、制御部１１４の制御の下、信号処理された画像データを画像表示装置１１２へ出力し、画像表示装置１１２に画像を表示させる。
【００１６】
制御部１１４は、ＣＰＵ（Central Processing Unit）などであり、不揮発性メモリ１１５に記憶されたプログラムコードを揮発性メモリ１１６の作業領域に展開して順次実行することで、撮像装置１００の各部の動作を中央制御する。不揮発性メモリ１１５（ＲＯＭ）は、制御部１１４で実行される制御方法を記載したプログラムコード、プログラムコードを実行する際に使用されるパラメータやテーブル等の制御データ及び撮像素子１０３の欠陥画素を示すキズアドレス等の補正データを記憶する。揮発性メモリ１１６（ＲＡＭ）は、不揮発性メモリ１１５に記憶されたプログラムコード、制御データ及び補正データを転送して記憶しておくとともに、制御部１１４が撮像装置１００を制御する際に使用する作業領域を提供する。
【００１７】
ここで、上述した撮像装置１００を用いてメカニカルシャッタ１０２を使用して行う撮像動作について説明する。なお、撮像動作に先立ち、撮像装置１００の電源投入時の制御部１１４の動作開始時において、必要なプログラムコード、制御データ及び補正データを不揮発性メモリ１１５から揮発性メモリ１１６に転送して記憶しておくものとする。また、これらのプログラムコードやデータは、制御部１１４が撮像装置１００を制御する際に使用する。また、制御部１１４は、必要に応じて追加のプログラムコードやデータを不揮発性メモリ１１５から揮発性メモリ１１６に転送したり、直接不揮発性メモリ１１５内のデータを読み出して使用するものとする。
【００１８】
まず、光学系１０１は、制御部１１４からの制御信号により、絞りとレンズを駆動して適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、制御部１１４からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に併せて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。
【００１９】
撮像素子１０３は、制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルス（タイミング信号）を下に駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号（画像データ）として出力する。撮像素子１０３から出力されたアナログ画像信号は、制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性ノイズが除去され、Ａ／Ｄ変換器１０５でデジタル画像信号に変換される。
【００２０】
次に、制御部１１４により制御される信号処理回路１０８において、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。画像メモリ１０９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。
【００２１】
信号処理回路１０８で信号処理された画像データや画像メモリ１０９に記憶された画像データは、記録回路１１１において記録媒体１１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて記録媒体１１０に記録される。また、上記画像データは、信号処理回路１０８で解像度変換処理を実施された後、表示回路１１３において記録回路１１１に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて記録回路１１１に表示されたりする。
【００２２】
ここで、信号処理回路１０８においては、制御部１１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１０９や記録回路１１１に出力してもよい。また、信号処理回路１０８は、制御部１１４からの要求があった場合に、その要求に応じて信号処理の過程で生じたデジタル画像信号や画像データの情報を制御部１１４に出力する。例えば、制御部１１４に出力する情報には、画像の空間周波数、指定領域の輝度等の平均値、圧縮画像データ量等の情報、或いはそれらから抽出された情報などがある。さらに、記録回路１１１は、制御部１１４からの要求があった場合に、記録媒体１１０の種類や空き容量等の情報を制御部１１４に出力する。
【００２３】
次に、被写体像を撮像するための画素が複数配列された撮像素子１０３の詳細について図２を参照して説明する。図２は、撮像素子１０３としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）型固体撮像素子を用いた場合の素子内のブロック図である。この固体撮像素子を構成する各回路素子は、半導体集積回路の製造技術によって、特に制限されないが、単結晶シリコンのような１個の半導体基板上において形成される。また、図２の例では、簡単のため３行３列の画素アレイ１としているが、固体撮像素子はこのサイズに限定したものではない。
【００２４】
図２に示すように、画素アレイ１において、受光量に応じた光信号電荷を生成する光電変換部であるフォトダイオードＤ１１〜Ｄ３３は、この例ではアノード側が接地されている。フォトダイオードＤ１１〜Ｄ３３のカソード側は、フォトダイオードに蓄積された光信号電荷を転送するための転送ＭＯＳ  Ｍ１１１〜Ｍ１３３のソースに接続されている。転送ＭＯＳ  Ｍ１１１のゲートは、横方向に延長して配置される第１の行選択線（垂直走査線）ＰＴＸ１に接続されている。同じ行に配置された他の画素セルの同様の転送ＭＯＳ  Ｍ１２１，  Ｍ１３１のゲートも第１の行選択線ＰＴＸ１に共通に接続されている。また、転送ＭＯＳ  Ｍ１１１〜Ｍ１３３のドレインには増幅ＭＯＳ  Ｍ３１１〜Ｍ３３３のゲートが接続されている。
【００２５】
増幅ＭＯＳ  Ｍ３１１〜Ｍ３３３のゲートには、これをリセットするためのリセットＭＯＳ  Ｍ２１１〜Ｍ２３３のソースが接続され、リセットＭＯＳ  Ｍ２１１〜Ｍ２３３のドレインは、リセット電源に接続されている。さらに、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３３のドレインは、電源電圧を供給するための選択ＭＯＳ  Ｍ４１１〜Ｍ４３３に接続されている。リセットＭＯＳ  Ｍ２１１のゲートは、横方向に延長して配置される第２の行選択線（垂直走査線）ＰＲＥＳ１に接続される。同じ行に配置された他の画素セルの同様なリセットＭＯＳ  Ｍ２２１，Ｍ２３１のゲートも第２の行選択線ＰＲＥＳ１に共通に接続される。選択ＭＯＳ  Ｍ４１１のゲートは、横方向に延長して配置される第３の行選択線（垂直走査線）ＰＳＥＬ１に接続される。同じ行に配置された他の画素セルの同様な選択ＭＯＳ  Ｍ４２１，Ｍ４３１のゲートも第３の行選択線ＰＳＥＬ１に共通に接続される。
【００２６】
これら第１〜第３の行選択線は垂直走査回路ブロック２に接続され、後述する動作タイミングに基づいた信号電圧が供給される。図２に示されている行においても同様な構成の画素セルと、行選択線が設けられている。これらの行選択線には、垂直走査回路ブロック２により形成されたＰＲＥＳ１〜ＰＲＥＳ３、ＰＳＥＬ１〜ＰＳＥＬ３が供給される。
【００２７】
増幅ＭＯＳ  Ｍ３１１のソースは、縦方向に延長して配置される垂直信号線Ｖ１に接続される。同じ列に配置される画素セルの同様な増幅ＭＯＳ  Ｍ３１２，Ｍ３１３のソースも垂直信号線Ｖ１に接続される。垂直信号線Ｖ１は、定電圧部３であるゲート接地ＭＯＳ  Ｍ７１を介して負荷素子である負荷ＭＯＳ  Ｍ５１に接続される。ゲート接地ＭＯＳ  Ｍ７１のゲートはゲート電圧を供給する電圧入力端子６に接続される。図２に示されている残りの垂直信号線Ｖ２〜Ｖ３においても同様に増幅ＭＯＳ、ゲート接地ＭＯＳ、負荷ＭＯＳが接続される。
【００２８】
さらに、負荷ＭＯＳ  Ｍ５１〜Ｍ５３のソースは共通のＧＮＤライン４に、ゲートは入力ＭＯＳ  Ｍ５０のゲートに接続されると共に電圧入力端子５に接続される。さらに、垂直信号線Ｖ１は、ノイズ信号転送スイッチＭ１１を介してノイズ信号を一時保持するためのノイズ信号保持容量ＣＴＮ１に、また、光信号転送スイッチＭ２１を介して光信号を一時保持するための保持部である光信号保持容量ＣＴＳ１に同時に接続される。
【００２９】
ノイズ信号保持容量ＣＴＮ１と光信号保持容量ＣＴＳ１の逆側の端子は接地されている。ノイズ信号転送スイッチＭ１１とノイズ信号保持容量ＣＴＮ１との接続点と、光信号転送スイッチＭ２１と光信号保持容量ＣＴＳ１との接続点はそれぞれ、保持容量リセットスイッチＭ３１、Ｍ３２を介し接地される。さらに上記接続点はそれぞれ、水平転送スイッチＭ４１、Ｍ４２を介して、光信号とノイズ信号の差をとるための差動回路ブロック８に接続される。
【００３０】
水平転送スイッチＭ４１、Ｍ４２のゲートは列選択線Ｈ１に共通に接続され、水平走査回路ブロック７に接続される。図２に示されている残りの列Ｖ２〜Ｖ３においても同様な構成の読み出し回路が設けられる。また、各列に接続されたノイズ信号転送スイッチＭ１１〜Ｍ１３、光信号転送スイッチＭ２１〜Ｍ２３のゲートはＰＴＮ、ＰＴＳにそれぞれ共通に接続され、後述する動作タイミングに基づいてそれぞれ信号電圧が供給される。
【００３１】
次に、図３に定電圧部３の一画素分の光電変換素子（フォトダイオード）の断面構造の構成について示す。図３に示すように、一画素分のフォトダイオードは、ｎ型基板３００１上にｐ型ウェル３００２が形成され、その上にフォトダイオードのｎ層３００４が形成され、その上にフォトダイオードのｐ層３００５を表面を濃くして形成される。また、一画素分のフォトダイオードには、転送ＭＯＳトランジスタ３００３のゲート領域が絶縁層を介してフォトダイオード側面に形成される。
【００３２】
転送ＭＯＳトランジスタ３００３のゲート領域とフォトダイオードの側面の間には、フォトダイオードのｎ層から連続するバイパス領域３００６が形成されている。また、転送ＭＯＳトランジスタ３００３のゲート領域の側面下部には拡散浮遊領域（Floating Diffusion領域：ＦＤ領域）３００７が形成されている。
【００３３】
拡散浮遊領域３００７は出力回路の増幅用ＭＯＳトランジスタ３０１０のゲートに接続されている。また、拡散浮遊領域３００７には、拡散浮遊領域３００７のリセット用のリセットＭＯＳトランジスタのソース３００８が接続され、そのドレインはリセット電源３００９が接続されている。
【００３４】
また、増幅用ＭＯＳトランジスタ３０１０で増幅された信号は画素選択用ＭＯＳトランジスタ３０１１を経て取り出される。また、素子の上部にはアルミ遮光板３０１３が備えられ、フォトダイオード以外には光が入射しないようにされている。
【００３５】
次に、定電圧部３における一般的な信号の読み取り動作について、図２の構成と、図４のタイミングチャートを参照して説明する。図４に示すように、フォトダイオードＤ１１〜Ｄ３３からの光信号電荷の読み出しに先立って、リセットＭＯＳ  Ｍ２１１〜Ｍ２３１のゲートＰＲＥＳ１がハイレベルとなる。これによって、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３１のゲートがリセット電源にリセットされる。
【００３６】
次いで、リセットＭＯＳ  Ｍ２１１〜Ｍ２３１のゲートＰＲＥＳ１がロウレベルに復帰した後に、選択ＭＯＳ  Ｍ４１１〜Ｍ４３１のゲートＰＳＥＬ１、ノイズ信号転送スイッチＭ１１〜Ｍ１３のゲートＰＴＮがハイレベルとなる。これによって、リセットノイズが重畳されたリセット信号（ノイズ信号）がノイズ信号保持容量ＣＴＮ１〜ＣＴＮ３に読み出される。
【００３７】
次に、ノイズ信号転送スイッチＭ１１〜Ｍ１３のゲートＰＴＮがロウレベルに復帰する。次に、転送ＭＯＳ  Ｍ１１１〜Ｍ１３１のゲートＰＴＸ１がハイレベルとなり、フォトダイオードＤ１１〜Ｄ３３の光信号電荷が、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３１のゲートに転送される。
【００３８】
次に、転送ＭＯＳ  Ｍ１１１〜Ｍ１３１のゲートＰＴＸ１がロウレベルに復帰した後に、光信号転送スイッチＭ２１〜Ｍ２３のゲートＰＴＳがハイレベルとなる。これによって、光信号が光信号保持容量ＣＴＳ１〜ＣＴＳ３に読み出される。
【００３９】
次に、光信号転送スイッチＭ２１〜Ｍ２３のゲートＰＴＳがロウレベルに復帰する。ここまでの動作で、第１行目に接続された画素セルのノイズ信号と光信号が、それぞれの列に接続されたノイズ信号保持容量ＣＴＮ１〜ＣＴＮ３と光信号保持容量ＣＴＳ１〜ＣＴＳ３とに保持される。
【００４０】
次に、リセットＭＯＳ  Ｍ２１１〜Ｍ２３１のゲートＰＲＥＳ１および転送ＭＯＳ  Ｍ１１１〜Ｍ１３１のゲートＰＴＸ１がハイレベルとなり、フォトダイオードＤ１１〜Ｄ３３の光信号電荷がリセットされる。この後、水平走査回路ブロック７からの信号Ｈ１〜Ｈ３によって、各列の水平転送スイッチＭ４１〜Ｍ４６のゲートが順次ハイレベルとなる。これにより、ノイズ保持容量ＣＴＮ１〜ＣＴＮ３と光信号保持容量ＣＴＳ１〜ＣＴＳ３に保持されていた電荷量に基づいた電圧が、順次差動回路ブロック８に読み出される。差動回路ブロック８では、光信号とノイズ信号の差がとられ、出力端子ＯＵＴに画素信号が順次出力される。以上で、第１行目に接続された画素の読み出しが完了する。
【００４１】
その後、第２行目の読み出しに先立って、ノイズ信号保持容量ＣＴＮ１〜ＣＴＮ３および光信号保持容量ＣＴＳ１〜ＣＴＳ３のリセットスイッチＭ３１〜Ｍ３６のゲートＰＣＴＲがハイレベルとなり、ＧＮＤにリセットされる。以下同様に、垂直走査回路ブロック２からの信号によって第２行目以降に接続された画素の画素信号が順次読み出され、全画素の読み出しが完了する。
【００４２】
次に、撮像素子１０３を逐次駆動させて撮像する通常のライブビュー撮像時における撮像装置１００の読み出しシーケンスについて、図５を参照して説明する。図５は、グラフの縦軸に垂直走査位置、横軸に時間を表しており、撮像素子１０３全体の走査を示す図である。
【００４３】
図５に示すように、先ずライブビュー撮像に先立ち、撮像素子１０３のリセットが行われる（リセット走査位置５０１の画素から順次）。次いで、リセットが完了した行から事前に設定された蓄積時間５０４で素子を露光させる。次いで、蓄積時間５０４に達した信号読み出し走査位置５０２の画素から順に読み出しを行う。この時の読み出し方は図４を参照して説明した通常の画素の読み出し方と同じである。
【００４４】
また、この読み出しにかかる時間を読み出し期間５０５といい、１フレームの時間と読み出し期間との差分の時間をブランキング期間５０６といい、この間に蓄積時間等の次フレーム以降で用いるパラメータを決定する。特に撮像素子１０３を測光センサとした露光制御（ＡＥ）である撮像面ＡＥを行う場合には、この期間に次フレームでの絞り、センサーゲイン、蓄積時間等の露出制御値を設定する必要がある。
【００４５】
その後、前のリセットから１フレーム分の時間が経過した画素から再びリセットを行い（リセット走査位置５０３の画素から順次）、２フレーム目の露光を始める。ライブビュー撮像は上述したシーケンスの繰り返しとなる。
【００４６】
このように読み出された信号は、図１を参照して説明すると、先ずＡ／Ｄ変換器１０５によってデジタル信号に変換され、信号処理回路１０８を経て画像メモリ１０９に記録される。画像メモリ１０９に記録されたデータは表示回路１１３によって処理され、画像表示装置１１２によって各フレームの画像が表示（電子ビューファインダ表示（ＥＶＦ表示））される。上述した処理により、撮像装置１００ではライブビュー撮像が可能になる。
【００４７】
次に、本実施形態に係る飽和光量信号であるＦＤ信号について、図３を参照して説明する。図３に示すように、アルミ遮光板３０１３の開口部を通過した光は、開口部の直下に構成されたフォトダイオードによって光電変換され、フォトダイオードのｎ層３００４に電荷として蓄積される。
【００４８】
しかし、入射光がフォトダイオードの容量を超えて入射してきた時、光電変換された電荷がフォトダイオード内に蓄積することができず、溢れ出すという現象が生じる。この溢れ出れ出した電荷（以下、余剰電荷とする）を排出することをオーバーフローと呼ぶ。このオーバーフローには主に垂直オーバーフローと横型オーバーフローが知られている。
【００４９】
図３に例示した撮像素子１０３の場合、大光量が入射して過剰な信号がフォトダイオードで発生した場合に、余剰電荷は層３００４からｐ型ウェル３００２を通過してｎ型基板に吸収される仕組みになっている。このようなオーバーフロー構造を垂直オーバーフロー・ドレインと呼んでおり、現在の撮像素子の構造においては一般的なものになっている。
【００５０】
しかし、現実には全ての余剰電荷をこの垂直オーバーフロー・ドレインにより排出することは困難であり、一部の余剰電荷は隣接する拡散浮遊領域３００７に溢れ込んでしまう。このように隣接する容量に溢れ込むことを横型オーバーフローと呼ぶ。横型オーバーフローを起こす余剰電荷の割合は、各々の撮像素子について異なるが、転送ＭＯＳトランジスタ３００３のゲート電圧によりある程度制御することができる。
【００５１】
因みに、通常撮像において、横型オーバーフローにより拡散浮遊領域３００７に蓄積した余剰電荷は、読み出し前にリセットされることにより通常撮像による画像には影響しない。以下、本件では、この拡散浮遊領域３００７に溢れた余剰電荷を示す飽和光量信号をＦＤ信号(ＦＤ:Floating Diffusion)と呼び、フォトダイオード内に蓄積される電荷信号（画素信号）をＰＤ信号(ＰＤ：Photodiode)と呼ぶ。
【００５２】
本実施形態は、撮像面ＡＥに影響するフォトダイオードのダイナミックレンジの狭さを補うため、上述の横型オーバーフローによる余剰電荷を示すＦＤ信号を撮像面ＡＥの制御に用いるというものである。したがって、本実施形態では、撮像素子内に新たなスイッチを設ける必要がないため、製造コストを抑えることができる。また、本実施形態では、スイッチに要する分だけ受光面積が狭くなることがないため、撮像された画像への影響を抑えることもできる。
【００５３】
次に、ＦＤ信号の読み出し方について、ＦＤ信号の読み出しのタイミングチャートを示す図６と、撮像素子１０３の構成を示す図２とを参照し、通常の読み出しシーケンスである図４とを比較しながら説明する。図４に示すように、通常の読み出し時は、先ずＰＲＥＳ１をハイレベルにして、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３１のゲートをリッセット、つまり図３中の拡散浮遊領域３００７の電位をリセットレベルに戻した。しかし、本実施形態のように拡散浮遊領域３００７にオーバーフローした余剰電荷を読み出したい場合は、図４の通常読み出しのように最初にリセットしてはいけない。
【００５４】
つまり、ＦＤ信号を読み出す場合は、図６に示すように、フォトダイオードに蓄積された電荷の転送前であり、拡散浮遊領域３００７をリセットする前に光信号転送スイッチＭ２１〜Ｍ２３のゲートＰＴＳをハイレベルにする。これにより、ノイズ込みのＦＤ信号が光信号保持容量ＣＴＳ１〜ＣＴＳ３に読み出される。
【００５５】
次に、光信号転送スイッチＭ２１〜Ｍ２３のゲートＰＴＳをロウレベルに復帰する。その後ＰＲＥＳ１をハイレベルにし、増幅ＭＯＳ  Ｍ３１１〜Ｍ３３１のゲートをリセットする。リセットが完了したらＰＲＥＳ１をロウレベルにし、次にノイズ転送スイッチＭ１１〜Ｍ１３のゲートＰＴＮをハイレベルにする。これにより、リセット信号がノイズ信号保持容量ＣＴＮ１〜ＣＲＮ３に読み出される。
【００５６】
次に、リセットＭＯＳ  Ｍ２１１〜Ｍ２３１のゲートＰＲＥＳ１および転送ＭＯＳ  Ｍ１１１〜Ｍ１３１のゲートＰＴＸ１がハイレベルとなる。この後の信号の読み出しは図４で説明した通常読み出しと同様である。
【００５７】
この場合、注意すべき点として差動回路ブロック８において光信号保持容量ＣＴＳ１〜ＣＴＳ３に蓄積された信号成分から引かれるノイズ信号保持容量ＣＴＮ１〜ＣＲＮ３に蓄積されたノイズ成分には、信号成分とは異なるリセットノイズがのっている事である。また、蓄積時間中に発生した暗電流ノイズ成分が含まれていない為、通常の読み出し信号よりも出力信号のＳＮ比が悪化する。ただ本実施形態のように、ＦＤ信号を露出制御に用いる場合は、この程度のＳＮ比の悪化は問題になるレベルではない。
【００５８】
次に、図７のフローチャートを参照して、第１の実施形態における撮像面ＡＥを行うライブビュー撮像処理の流れを説明する。図７に示すように、制御部１１４の制御の下、ライブビュー撮像処理が開始されると、先ず、撮像素子１０３における１フレームの蓄積時間、絞り値、センサーゲイン等のＡＥ制御パラメータを設定する（Ｓ７０１）。Ｓ７０１では、前のフレーム（この場合は第ｎ−１フレーム）で演算されたＡＥ制御パラメータが設定される。なお、ライブビュー撮像処理の開始直後のフレームにおいては、ＡＥ制御パラメータは予めメモリなどに設定されたデフォルトの値を用いる。
【００５９】
次いで、制御部１１４の制御の下、Ｓ７０１で設定したＡＥ制御パラメータで撮像し、図４で説明した通常の読み出し方でＰＤ信号を読み出す（Ｓ７０２）。次いで、制御部１１４の制御の下、Ｓ７０２で読み出した画像（第ｎフレーム）を画像表示装置１１２に表示させる（Ｓ７０３）。
【００６０】
次フレーム（第ｎ＋１フレーム）では、制御部１１４の制御の下、図６で説明した読み出し方でＦＤ信号を読み出す（Ｓ７０４）。ここで読み出したＦＤ信号は、フォトダイオードの飽和光量を超えた光量が入射した画素しか信号を持たないので、画像表示装置１１２に表示すると画像が暗くなってしまう。よって、画像表示装置１１２に表示する画像は前フレーム（第ｎフレーム）のＰＤ信号を更新せずに引き続き表示させておく。
【００６１】
次いで、制御部１１４は、Ｓ７０２、Ｓ７０４で得られた信号値から、次フレームで撮像するためのＡＥ制御パラメータを演算する（Ｓ７０５）。このＳ７０５におけるＡＥ制御パラメータの演算方法については、特に限定するものではないが一例を後述する。
【００６２】
次いで、制御部１１４は、ライブビューモードを終了するか否かを、ユーザからのモード操作の入力指示を受け付ける操作部（図示しない）の設定などから判定する（Ｓ７０６）。Ｓ７０６において終了しない場合、制御部１１４は、Ｓ７０１へ処理を戻してＳ７０５で算出したＡＥ制御パラメータを設定する。撮像装置１００では、上述したフローをライブビューモードが終了するまで続行する。
【００６３】
ここで、Ｓ７０５におけるＡＥ制御パラメータの演算方法の一例について、図８を参照して説明する。図８に示すように、ＡＥ制御パラメータの演算処理では、先ず、図７のＳ７０４で読み出したＦＤ信号を解析する。そして、予め定められた所定値以上であるＦＤ信号の画素数が、全体画素数に対して予め設定された所定の割合（全体のＮ％）以上（第１の値以上）であるか否かを判定する（Ｓ８０１）。
【００６４】
このＳ８０１の判定により、撮像素子１０３の全画素から所定の割合以上の画素数がＦＤ信号で検出された場合、撮像素子１０３で撮像された画像は露光オーバーな画像と判断される。したがって、制御部１１４は、ＰＤ信号のみから撮像された画像の輝度値を算出してＡＥ制御パラメータを算出するのではなく、ＰＤ信号、ＦＤ信号の両信号に基づいて、適切なＡＥ制御パラメータを算出する（Ｓ８０２）。ＡＥ制御パラメータは、撮像された画像の輝度値と露光に関する制御線図などに基づいて算出されるものであり、Ｓ８０２ではＰＤ信号による輝度値だけでなく、ＦＤ信号による輝度値も参照して算出される。
【００６５】
具体的には、Ｓ８０２においては、露光オーバーによりフォトダイオードから溢れ出したことを示すＦＤ信号値が減り、且つ、ＰＤ信号値が暗くなり過ぎないＡＥ制御パラメータを求めることが好ましい。例えば、ＦＤ信号値が減少するように露光期間の短縮や絞り値を大きくするとともに、その露光期間の短縮や絞り値を大きくする範囲はＰＤ信号値が暗くなり過ぎない程度とするＡＥ制御パラメータを求める。なお、ＦＤ信号値が減少するように露光期間の短縮や絞り値を大きくする度合いは、ＦＤ信号値の大きさに応じるだけでなく、予め定められた所定値以上であるＦＤ信号の画素の割合に応じてもよい。例えば、所定値以上であるＦＤ信号の画素の割合が大きい程、露光期間の短縮や絞り値をより大きくしてもよい。
【００６６】
一方で、Ｓ８０１の判定により、撮像素子１０３の全画素から所定の割合以上の画素数がＦＤ信号から検出されなかった場合、撮像素子１０３で撮像された画像は露光オーバーな画像である可能性は少ないと判断される。したがって、制御部１１４は、通常のＡＥ制御パラメータの演算方法と同様に、ＰＤ信号から撮像された画像の輝度値を算出してＡＥ制御パラメータを演算する（Ｓ８０３）。
【００６７】
上述した処理を行うことにより、撮像装置１００では、ＰＤ信号とＦＤ信号とに基づいてＡＥ制御パラメータを算出するため、ＰＤ信号のみでは適正なＡＥ制御パラメータの算出が困難な露光オーバーの状態であっても適切なＡＥ制御パラメータを取得できる。このため、特にライブビュー撮像中に急に明るいシーンに変化した場合において、適正露光に制御するまでの時間が大幅に短縮されることとなる。また、撮像装置１００では、撮像素子１０３の全画素において、光電変換された信号電荷が飽和して溢れ出してしまう画素が所定の割合以上である場合に、ＦＤ信号を含めたＡＥ制御パラメータの算出が行われる。したがって、ＰＤ信号のみでは適正なＡＥ制御パラメータの算出が困難な露光オーバーの状態の時のみ、ＦＤ信号を含めたＡＥ制御パラメータの算出が行われることとなる。
【００６８】
なお、本実施形態では、ＰＤ信号を読んだ次のフレームで必ずＦＤ信号を読んでおり、ＦＤ信号を読みだしているフレームでは画像表示装置１１２の画像が更新されないこととなる。このため、読み出し処理や表示処理が高速でない場合は画像表示装置１１２に表示される画像が不自然になる可能性がある。しかしながら、ＦＤ信号を読み出すフレームについては、ＰＤ信号を読んだ次のフレームに限定しない。例えば、通常はＰＤ信号のみを読みだしておき、ＰＤ信号の飽和画素が所定の割合を超えた時のみ、次のフレームでＦＤ信号を読み出すようにしてもよい。
【００６９】
［第２の実施形態］
次に、ＦＤ信号の読み出し方法が第１の実施形態と異なる第２の実施形態について説明する。なお、第２の実施形態では、第１の実施形態と異なる部分についてのみを説明し、図１〜図３を参照して説明した撮像装置１００の構成など、第１の実施形態と同様の部分については説明を割愛する。
【００７０】
第２の実施形態に係るＦＤ信号の読み出し方法は、ＰＤ信号とＦＤ信号を撮像素子１０３内で混合（合成）させて読み出すというものである。このような読み出し方法で行うと、ＰＤ信号とＦＤ信号を合成して読み出せるので、ＡＥ制御パラメータの演算を一気に行うことができるというメリットがある。さらに、ＡＥ制御パラメータの演算に用いるＰＤ信号とＦＤ信号のタイムラグが無くなるので、更に精度良く露光制御を行うことができる。この第２の実施形態に係るＰＤ信号とＦＤ信号との合成信号の読み出し方について、その合成信号の読み出しのタイミングチャートを示す図９と、撮像素子１０３の構成を示す図２とを参照して説明する。
【００７１】
先ず、図９に示すように、転送ＭＯＳ  Ｍ１１１〜Ｍ１３１のゲートＰＴＸ１をハイレベルにしてＰＤ信号とＦＤ信号とを合成する。そして、ＰＴＸ１はハイレベルのまま光信号転送スイッチＭ２１〜Ｍ２３のゲートＰＴＳをハイレベルにして合成された信号を光信号保持容量ＣＴＳ１〜ＣＴＳ３に読み出す。
【００７２】
次いで、ＰＴＳをロウレベルに戻した後、リセット信号であるＰＲＥＳ１をハイレベルにして、リセット電位に戻す。リセットが完了した後、ノイズ転送スイッチＭ１１〜Ｍ１３のゲートＰＴＮをハイレベルにし、リセット信号をノイズ信号保持容量ＣＴＮ１〜ＣＲＮ３に読み出す。その後、ＰＴＮをロウレベルに戻した後、転送ＭＯＳ  Ｍ１１１〜Ｍ１３１のゲートＰＴＸ１をロウレベルに戻す。その後の処理は、第１の実施形態において図６を用いて説明したＦＤ信号の読み出しと同様である。
【００７３】
この読み出し方で注意しなければならないことは、転送ゲートＰＴＸ１をハイレベルのまま信号を読み出すことにより、見かけのＦＤの容量が増えてしまい、その結果出力電圧が下がってしまうとういう問題が発生することである。つまり、読み出した電圧に対して、電圧降下部分を信号処理時に補償しなければならない。もう一点注意しなければならないことは、この読み方ではＦＤ信号とＰＤ信号を合成して読み出しているが、ＰＤ信号とＦＤ信号とで感度が異なっているということである。つまり、ＡＥ制御パラメータを演算するにあたっては、ＦＤ信号部分に相当する所定の値以上の高輝度信号に対して、その点を考慮した演算を行う必要があるということである。
【００７４】
次に、図１０のフローチャートを参照して、第２の実施形態における撮像面ＡＥを行うライブビュー撮像処理の流れを説明する。図１０に示すように、制御部１１４の制御の下、ライブビュー撮像処理が開始されると、先ず、前のフレーム（この場合は第ｎ−１フレーム）で演算されたＡＥ制御パラメータを設定する（Ｓ１００１）。なお、Ｓ１００１において、処理開始時における最初のフレームは所定のデフォルト値を設定する。
【００７５】
次いで、制御部１１４の制御の下、Ｓ１００１で設定したＡＥ制御パラメータで撮像し、撮像した第ｎフレームのＰＤ信号の読み出し（通常読み出し）を行う（Ｓ１００２）。次に、制御部１１４は、Ｓ１００２で読み出したＰＤ信号を解析する。そして、ＰＤ信号値が所定の値（飽和信号とみなせる値）以上である飽和画素の数が、全体画素数に対して予め設定された所定の割合（Ｎ％）以上（第２の値以上）あるか否かを判定する（Ｓ１００３）。
【００７６】
Ｓ１００３において、飽和画素数が所定の割合（Ｎ％）以上であった場合には、次のフレーム（第ｎ＋１フレーム）にて、図９を参照して説明した読み出し方法によりＰＤ信号とＦＤ信号を合成した信号を読み出す（Ｓ１００４）。そして、制御部１１４は、読み出した合成信号からＡＥ制御パラメータを演算する（Ｓ１００５）。なお、前述したとおり、このＡＥ制御パラメータの演算時には、電圧降下分と感度変化分を考慮した演算が行われる。
【００７７】
また、上述した理由により合成信号を画像表示装置１１２に表示してしまうと不自然な画像になってしまう為、制御部１１４の制御の下、画像表示装置１１２には前フレーム（第ｎフレーム）の画像を表示する（Ｓ１００６）。
【００７８】
一方、Ｓ１００３において、飽和画素数が所定の割合未満であった場合は、制御部１１４の制御の下、次のフレーム（第ｎ＋１フレーム）にて、通常どおりにＰＤ信号の読み出しを行う（Ｓ１００７）。次いで、制御部１１４はＡＥ制御パラメータの演算を通常どおりに行う（Ｓ１００８）。この場合は、制御部１１４の制御の下、Ｓ１００７で読み出されたＰＤ信号による第ｎ＋１フレームの画像が画像表示装置１１２に表示されることとなる（Ｓ１００９）。
【００７９】
Ｓ１００９又はＳ１００６が終了した後、制御部１１４は、ライブビューモードを終了するか否かを判定し（Ｓ１０１０）、終了する場合は処理をライブビュー撮像処理を終了する。また、Ｓ１０１０においてライブビューモードを終了せずに継続する場合は、Ｓ１００１へ処理を戻して、Ｓ１００８又はＳ１００５で演算したＡＥ制御パラメータを設定する。撮像装置１００では、上述したフローをライブビューモードが終了するまで続行する。
【００８０】
以上のとおり、第２の実施形態では、ＰＤ信号とＦＤ信号との合成信号によりＡＥ制御パラメータを算出するため、ＰＤ信号のみでは適正なＡＥ制御パラメータの算出が困難な露光オーバーの状態であっても適切なＡＥ制御パラメータを取得できる。このため、ライブビュー撮像中に急に明るいシーンに変化した場合において、適正露光に制御するまでの時間が大幅に短縮されることとなる。また、第２の実施形態では、同一フレームのＰＤ信号とＦＤ信号とを合成した信号によりＡＥ制御パラメータを算出するため、第１の実施形態では存在したＰＤ信号とＦＤ信号との取得時刻の差が存在しない。よって、より信頼性の高いＡＥ制御パラメータの算出が可能となる。
【００８１】
また、第２の実施形態では、ｎフレーム目で各画素のＰＤ信号を読み出し、全画素数に対する、ＰＤ信号の値が飽和した状態を示す画素数の割合が、予め設定された所定値（第２の値）以上であるか否かを判定している。この判定の結果、その割合が所定値以上である場合、すなわち、急に明るいシーンに変化した場合には、ｎ＋１フレーム目で各画素の合成信号を読み出してＡＥ制御パラメータの算出し、余剰信号の値を露光制御に用いるようにしている。また、上記判定において所定値未満である場合は、ｎ＋１フレーム目でも各画素のＰＤ信号を読み出して通常の露光制御とフレーム画像の表示を行っており、シーン変化がない場合には逐次表示する画像に影響が無いようにしている。
【００８２】
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
【００８３】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００８４】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００８５】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００８６】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図１】
2010206719.tif 000003
【図２】
2010206719.tif 000004
【図３】
2010206719.tif 000005
【図４】
2010206719.tif 000006
【図５】
2010206719.tif 000007
【図６】
2010206719.tif 000008
【図７】
2010206719.tif 000009
【図８】
2010206719.tif 000010
【図９】
2010206719.tif 000011
【図１０】
2010206719.tif 000012