(57)【要約】【課題】感度の異なる主従感光部に分割された受光素子を含む固体撮像素子において、主感光部のみを使用して固体撮像素子のダイナミックレンジを拡大する。【解決手段】主感光部３４の感度を高くして主感光部３４の有するダイナミックレンジを拡大し、主感光部３４のみから信号電荷を読み出す。読み出した信号電荷はデジタル化して２つの画像メモリ８８ａ、８８ｂにそれぞれ格納する。一方のメモリ８８ａに格納したデジタル信号はゲインアップし、画像合成部９６によって、他方のメモリ８８ｂに格納したデジタル信号と合成する。【選択図】　　　　図１
2004128562.tif 000002
【特許請求の範囲】
【請求項１】
相対的に高感度の主感光部と相対的に低感度の従感光部とで構成される受光素子を含み、該主感光部と従感光部とから独立に信号電荷を読み出し可能であり、該主感光部の感度は変更可能である固体撮像素子の信号読み出し方法において、該方法は、
前記主感光部の感度を高くして該主感光部の有するダイナミックレンジを拡大する工程と、
該ダイナミックレンジを拡大した主感光部から信号電荷を読み出す工程と、
該読み出した信号電荷をデジタル化して２つのメモリにそれぞれ格納する工程と、
該２つのメモリのうち一方に格納したデジタル信号をゲインアップして他方に格納したデジタル信号と合成する工程とを含み、
これによって主感光部のみを使用して固体撮像素子のダイナミックレンジを拡大することを特徴とする固体撮像素子の信号読み出し方法。
【請求項２】
相対的に高感度の主感光部と相対的に低感度の従感光部とで構成される受光素子を含み、該主感光部と従感光部とから独立に信号電荷を読み出し可能であり、該主感光部の感度は変更可能である固体撮像素子の信号読み出し方法において、該方法は、
前記主感光部の感度を高くして該主感光部の有するダイナミックレンジを拡大する工程と、
該ダイナミックレンジを拡大した主感光部から信号電荷を読み出す工程と、
該読み出した信号電荷を異なるゲインによってアナログゲインアップして高ゲインアップ信号および低ゲインアップ信号を生成する工程と、
該高ゲインアップ信号および低ゲインアップ信号をそれぞれデジタル化し、２つのメモリにそれぞれ格納する工程と、
前記高ゲインアップ信号と前記低ゲインアップ信号とを合成する工程とを含み、
これによって主感光部のみを使用して固体撮像素子のダイナミックレンジを拡大することを特徴とする固体撮像素子の信号読み出し方法。
【請求項３】
請求項１または２に記載の方法において、前記信号電荷を読み出す工程では、前記主感光部からの信号電荷に従感光部からの信号電荷を混合して読み出すことを特徴とする固体撮像素子の信号読み出し方法。
【請求項４】
相対的に高感度の主感光部と相対的に低感度の従感光部とで構成される受光素子を含み、該主感光部と従感光部とから独立に信号電荷を読み出し可能であり、該主感光部の感度は変更可能である固体撮像素子の信号読み出し方法において、該方法は、
前記主感光部の感度を高くして該主感光部の有するダイナミックレンジを拡大する工程と、
被写界の輝度分布から所定の評価値を算出する工程と、
該評価値に応じて、前記主感光部および従感光部から独立に信号電荷を読み出す工程、前記主感光部のみから信号電荷を読み出す工程、および前記主感光部からの信号電荷に従感光部からの信号電荷を混合して読み出す工程、からなる群から１つを選択する工程とを含み、
これによって固体撮像素子のダイナミックレンジを拡大することを特徴とする固体撮像素子の信号読み出し方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルスチルカメラその他の撮像装置に設けられた固体撮像素子の信号読み出し方法に関するものである。
【０００２】
【従来の技術】
従来、電荷結合素子（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ；　ＣＣＤ）などの固体撮像素子のダイナミックレンジを拡大するため、感度の異なる受光素子によって得られる２つの画像を用意する方法がある。高感度の受光素子によって得られる画像は、素子が少ない光量に対しても反応するため、相対的に暗い被写体でも鮮明になるが、所定の輝度を超過する明るい被写体に対しては素子が飽和して、白く「飛んで」しまい、鮮明にならない。一方、低感度の受光素子によって得られる画像では、暗い被写体は暗くつぶれてしまい鮮明にならないが、高感度の受光素子であれば飽和してしまう明るい被写体は鮮明になる。そこで、それら明暗差がある２つの画像の双方の長所を生かすように合成し、輝度分布のバラツキの大きいシーンであっても、すべての被写体を鮮明にするダイナミックレンジ拡大が可能である（例えば非特許文献１を参照）。
【０００３】
従来は、２板式、電子シャッタ単板式またはＣＣＤデバイス式などの方式（非特許文献１を参照）によって２つの画像を用意してダイナミックレンジ拡大を行っていたが、最近、フォトダイオードなどの受光素子を、相対的に広い面積を有する主感光部と、相対的に狭い面積を有する従感光部とに分割した固体撮像素子による方式が提案されている。主感光部はその広い面積のため感度が高く、一方、従感光部はその狭い面積のため感度が低い。したがって、受光素子が分割された固体撮像素子によれば、主／従感光部の感度差を利用し、主／従感光部のいずれからも選択的に画像信号を読み出し、適切に画像を組み合わせることで、ダイナミックレンジ拡大が可能である。
【０００４】
【非特許文献１】
竹村裕夫著、「ＣＣＤカメラ技術入門」、初版、株式会社コロナ社、１９９７年１２月、ｐ．１００−１０２。
【０００５】
【発明が解決しようとする課題】
しかし、受光素子が分割された固体撮像素子では、ダイナミックレンジを拡大する際に、単純に、例えば主感光部の信号電荷を読み出し、その後従感光部の信号電荷を読み出すという２フィールド相当の読み出し時間を要する読み出し方法を採用していて、読み出し方法については特に工夫されていない。
【０００６】
本発明はこのような従来技術の欠点を解消し、主／従感光部に分離された受光素子で構成される固体撮像素子において、効率的に信号を読み出しつつダイナミックレンジを拡大できる固体撮像素子の信号読み出し方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、相対的に高感度の主感光部と相対的に低感度の従感光部とで構成される受光素子を含み、主感光部と従感光部とから独立に信号電荷を読み出し可能であり、主感光部の感度は変更可能である固体撮像素子の信号読み出し方法において、主感光部の感度を高くして主感光部の有するダイナミックレンジを拡大する工程と、ダイナミックレンジを拡大した主感光部から信号電荷を読み出す工程と、読み出した信号電荷をデジタル化して２つのメモリにそれぞれ格納する工程と、２つのメモリのうち一方に格納したデジタル信号をゲインアップして他方に格納したデジタル信号と合成する工程とを含む。
【０００８】
本発明によれば、主感光部のみを使用して固体撮像素子のダイナミックレンジを拡大することが可能となる。
【０００９】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像素子の信号読み出し方法の実施例を詳細に説明する。なお各図面において本発明に直接関係のない要素は省略し、同様の要素は同一の参照符号によって示すものとする。また信号はそれが現れる信号線の参照符号を用いて示すものとする。
【００１０】
図２は本発明による固体撮像素子の信号読み出し方法を適用するデジタルスチルカメラの一例のブロック図である。中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；ＣＰＵ）１２はこれに接続された操作キー１４からのユーザの操作信号１５に従ってカメラ１０を制御する。
【００１１】
操作キー１４には図示しないがＩＳＯ感度設定部、モード選択部およびレリーズシャッタボタンが含まれている。ＩＳＯ感度設定部はカメラ１０のＩＳＯ感度をＩＳＯ１００相当、ＩＳＯ２００相当またはＩＳＯ４００相当のいずれかに設定可能である。モード選択部は静止画像撮影モードまたは動画像撮影モードのいずれかのモードを選択可能である。これらＩＳＯ感度設定およびモード選択は、信号１５によってＣＰＵ　１２に出力される。レリーズシャッタボタンは２段階のストロークを有するボタンで、第１段のストローク（以下「Ｓ１」と呼ぶ）でデジタルカメラ１０を予備測光の段階にし、第２段のストローク（以下「Ｓ２」と呼ぶ）で本撮像の段階にするトリガ信号１５をＣＰＵ　１２に出力する。
【００１２】
光学系１６はレンズ、自動露出（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）を行う絞り機構、自動焦点合わせ（Ａｕｔｏ　Ｆｏｃｕｓ）を行うフォーカス機構およびメカニカルシャッタを含み、これらは、ＣＰＵ　１２からの光学系制御信号１８を受信するドライバ２０によって駆動される。
【００１３】
ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）２２はフォトダイオードを配列した固体撮像素子であり、ＣＰＵ　１２に制御されるタイミング発生器２４から水平同期信号、垂直同期信号および電子シャッタ用タイミングパルスなどを含む信号２６を受信するドライバ２８によって駆動される。ドライバ２８は受信した各種タイミングパルス２６に基づき、水平転送信号、垂直転送信号およびオーバフロードレーン用の駆動信号３０をＣＣＤ　２２に与えて信号読み出しその他の駆動を行う。
【００１４】
図３は図２に示すＣＣＤ　２２を構成するフォトダイオード３２の構成図である。図３に示すように、フォトダイオード３２は、相対的に広い面積を有し高感度の主感光部３４と、相対的に狭い面積を有し低感度の従感光部３６とに分割されている。なお本実施例ではフォトダイオード３２は、同一の行方向に対する画素ピッチをＸｐに、同一の列方向に対する画素ピッチをＹｐにして配設され、さらに隣接するフォトダイオード３２同士の画素ピッチはそれぞれＸｐ／２、Ｙｐ／２にして配設されている。このようは配設方法を、本文では、以下、画素ずらし配列と呼ぶ。画素ずらし配列により、フォトダイオード３２は稠密に配設される。またＣＣＤ　２２は、この配設の間に垂直転送レジスタ３５を形成している。垂直転送レジスタ３５は、各フォトダイオード３２を迂回するため、蛇行して形成されている。主感光部３４と従感光部３６とからは、独立に信号電荷を読み出し可能である。
【００１５】
なお本発明が適用可能なのは、画素ずらし配列を採用する固体撮像素子に限られない。例えば格子状に受光素子が配列された従来の固体撮像素子にも適用可能である。
【００１６】
図４は図３に示すフォトダイオード３２の光電変換特性を示すグラフである。本実施例では、フォトダイオード３２のうち、主感光部３４は、感度の低いものから順に、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｔａｎｄａｒｄ　Ｏｒｇａｎｉｚａｔｉｏｎ；　国際標準化機構）１００、ＩＳＯ２００およびＩＳＯ４００相当の感度のいずれかを選択して設定可能である。主感光部３４をＩＳＯ１００相当に感度設定した場合、出力電圧は、主画素再現域４０として示す輝度範囲において、実線４２で示すように増加し、レベル３８、すなわち４００ｍｖで飽和するものとする。
【００１７】
このような主感光部３４の光電変換特性に対して、従感光部３６の光電変換特性を感度１／１６、飽和１／４に設定したとすると、従感光部３６の出力電圧は、従画素再現域４４として示す輝度範囲において、実線４６で示すように増加し、レベル４８、すなわち１００ｍｖで飽和する。
【００１８】
すると、従画素再現域４４は、図４に示すように、主画素再現域４０の４倍の長さを有する。したがって従感光部３６は、画像として再現できる明暗の最大範囲であるダイナミックレンジが主感光部３４の４倍であり、主感光部３４の輝度情報を１００％とすれば、従感光部３６では４００％の輝度情報が得られる。
【００１９】
一方、主感光部３４をＩＳＯ２００またはＩＳＯ４００相当の高感度に設定する場合には、まず、シャッタ時間またはＦ値を変更する。例えばＩＳＯ１００時の１／６０秒のシャッタ時間を、１／１２０秒または１／２４０秒に短縮して受光量を１／２または１／４に絞る。するとＩＳＯ１００時に使用していた主画素再現域４０に分布していた輝度情報は、１／２の再現域５０または１／４の再現域５２に分布することとなる。そして、必要に応じて出力値を２倍または４倍にゲインアップする。このようにデジタルカメラの感度設定は、受光量を絞って再現域を限定し、必要に応じて出力を電気的に増幅するという一連の処理によって行われる。
【００２０】
図４に示すように、例えばデジタルカメラのＩＳＯ感度をＩＳＯ２００相当に設定すると、主感光部によって実際に使用される再現域５０はＩＳＯ１００相当時の再現域４０に対して半分になる。したがって、従感光部３６の再現域４４は、主感光部３４の再現域５０に対して８００％の情報を有する。また、デジタルカメラのＩＳＯ感度をＩＳＯ４００相当に設定すると、従感光部３６の再現域４４は、主感光部３４の再現域５２に対して、１６００％になる。
【００２１】
しかしながら、実際には１０倍もの輝度差のあるシーンは極めて少ない。一方、主感光部３４を例えばＩＳＯ１００からＩＳＯ４００に感度アップした場合、受光量が絞られているため、主感光部３４には、実際には、ＩＳＯ１００時には飽和してしまっていた、図４に示す値Ａ以上の輝度が、ＩＳＯ１００相当の場合の主画素再現域４０に分布することとなる。その結果、ＩＳＯ４００時に使用が予定される主画素再現域５２に対して、主感光部３４には、ＩＳＯ１００時に使用される再現域４０が有する４００％の輝度情報が蓄積されている。これだけの輝度差のあるシーンの撮像が主感光部３４のみによって可能であるため、従感光部３６の情報を用いなくとも、そのシーンの輝度を、主感光部の飽和レベル３８以下で再現できる場合は少なくない。すなわち、ＩＳＯ４００設定時には、あえて従感光部３６から画像データを独立に読み出す必要がないことが多い。
【００２２】
なお、あるシーンが再現できるか否かは、そのシーンの有する絶対的な輝度の値には関係がなく、輝度値の分散、すなわち相対的なばらつきによって定まる。したがって、いくら高い輝度を有するシーンであっても、シーンのほとんどがそれと同等の輝度値を有する場合は、輝度値の分散が小さいから、再現が容易である。そうすると、図４においてＩＳＯ１００設定時には、従感光部３６の情報を用いて４００％撮像、すなわち輝度差が最大４倍程度のシーンの撮像が可能であるが、ＩＳＯ４００設定時にも、主感光部の情報のみによって、ＩＳＯ１００設定時と同様の４００％撮像の効果が得られることとなる。
【００２３】
そこで、主感光部の情報のみを読み出すことによって、十分にシーンを再現することができる。また、このようにＩＳＯ１００時の主画素再現域４０のみでシーンを再現することが可能な場合は、主従感光部３４、３６によって蓄積される電荷を混合して読み出すこととしてもよい。その場合は、出力電圧が上がるため感度が上がるし、その後のゲインの値も低く抑えることができるため、Ｓ／Ｎ比の高いノイズの少ない画像が得られ好都合である。
【００２４】
図５は図２に示す回路５８の詳細図であり、回路５８には相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ；　ＣＤＳ）回路６０、ゲインコントロール増幅器（Ｇａｉｎ　Ｃｏｎｔｒｏｌ　Ａｍｐｌｉｆｉｅｒ；　ＧＣＡ）６２、６４およびクランプ回路６６が含まれている。ＣＤＳ　６０はＣＣＤ　２２からの出力データ６８を受信してＣＣＤ出力波形のうちフィールドスルーレベル２５２と信号レベル２５４とを二重にサンプリングし、これら両レベルに含まれるノイズが相関を有していることを利用してノイズを減少させるものである。ＣＤＳ　６０はタイミング発生器２４から与えられるサンプリング用パルスＳＨＰ（Ｓａｍｐｌｅ　ＨｏｌｄＰｅｄｅｓｔａｌ）によってフィールドスルーレベルをクランプし、サンプリング用パルスＳＨＤ（Ｓａｍｐｌｅ　Ｈｏｌｄ　Ｄａｔａ）によって実際の信号レベルをサンプルホールドする。
【００２５】
ＧＣＡ　６２、６４にはそれぞれ異なるゲインを設定可能であり、ゲインの設定はＣＰＵ　１２から到来するゲイン設定信号６９、７１によってそれぞれ行われる。本実施例では、ＧＣＡ　６２に高いゲインを設定し、ＧＣＡ　６４に低いゲインを設定するものとする。例えばカメラ１０のＩＳＯ感度がＩＳＯ２００またはＩＳＯ４００相当に設定した場合は、ＧＣＡ　６２をゲイン２または４とし、ＧＣＡ　６４をゲイン１とする。しかしゲインはこれらの値に限定されるものではなく、ＧＣＡ　６２、６４それぞれについて自由に設定してよい。
【００２６】
回路５８では、タイミング発生器２４からのゲイン切替信号７０に従ってスイッチ７２、７４が切り替えられ、ＧＣＡ　６２、６４のうちいずれか選択されたものによってゲインアップされた信号がクランプ回路６６に出力される。本実施例ではＧＣＡ　６２が選択された場合は２倍または４倍に信号をゲインアップし、ＧＣＡ　６４が選択された場合は１倍にゲインアップする。このように信号電荷を選択的にアナログゲインアップ可能である点が本発明の特徴の１つである。
【００２７】
クランプ回路６６は、ゲインアップされた信号が周期性を有することを利用して直流成分の再生を行い、低周波ノイズを除去するものである。タイミング発生器２４から与えられる水平同期信号と同じ繰返し周期のクランプパルス７６によって駆動する。回路５８によってこれらの処理を受けた信号７８は、ＡＤ変換器（Ａｎａｌｏｇｕｅ−ｔｏ−Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）８０に出力され、ＡＤ変換器８０は変換クロックパルス８２によってアナログ信号をデジタル信号８４に変換して信号処理部８６に出力する。
【００２８】
図１は図２の信号処理部８６の詳細図である。信号処理部８６は、画像メモリ８８ａ、８８ｂ、ホワイトバランス（Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）ゲイン部９２ａ、９２ｂ、ガンマ変換部９４ａ、９４ｂ、画像合成部９６、同時化処理部９８、補正部１００、圧縮／伸長処理部１０２および画像縮小部１０４を含む。
【００２９】
これら信号処理部８６内のユニットは、タイミング発生器２４から与えられるタイミング信号１０８に基づき、ＣＰＵ　１２より与えられる制御信号１０６によって制御される。なおタイミング信号１０８には水平同期信号、垂直同期信号および各ユニットの動作クロック等が含まれる。
【００３０】
画像メモリ８８ａ、８８ｂはバッファメモリである。これらには画像データ８４が格納され、一時的に記憶される。画像データ８４は、主感光部３４から得られた画像データまたは従感光部３６から得られた画像データであり、同じ主感光部３４から得られた画像データであっても、図５に示したように、ＧＣＡ　６２、６４によって異なるゲインによってゲインアップされている場合もある。これら画像データ８４はその種類に応じて画像メモリ８８ａ、８８ｂに別々に記憶される。本実施例では、原則として、相対的に高感度の感光部から得られたデータはメモリ８８ａに、相対的に低感度の感光部から得られたデータはメモリ８８ｂに記憶される。
【００３１】
画像メモリ８８ａはＷＢゲイン部９２ａ、ガンマ変換部９４ａ、画像合成部９６、同時化処理部９８、補正部１００、圧縮／伸長処理部１０２および画像縮小部１０４とそれぞれ接続されている。画像メモリ８８ｂは、ＷＢゲイン部９２ｂおよびガンマ変換部９４ｂとそれぞれ接続されている。画像メモリ８８ａ、８８ｂは制御信号１０６に応じて一時的に格納した画像データをＷＢゲイン部９２ａ、９２ｂにそれぞれ出力する。
【００３２】
ＷＢゲイン部９２ａ、９２ｂは供給される画像データに対するホワイトバランス調整・ゲイン補正を行う機能を有する。ＷＢゲイン部９２ａ、９２ｂは、ホワイトバランス調整用のゲインによってデジタル画像信号をゲインアップすることができる。例えばＷＢゲイン部９２ａはゲイン４に設定してメモリ８８ａに格納されているデジタル画像信号をゲインアップし、ＷＢゲイン部９２ｂはゲイン１に設定してメモリ８８ｂに格納されているデジタル画像信号をゲインアップする。ＷＢゲイン部９２ａ、９２ｂは、ＣＰＵ　１２の制御により調整した画像データをガンマ変換部９４ａ、９４ｂにそれぞれ送信する。
【００３３】
ガンマ変換部９４ａ、９４ｂには、例えばガンマ補正用のルックアップテーブルが含まれていて、供給される画像データをこのテーブルのデータを用いてガンマ補正する。ガンマ変換部９４ａ、９４ｂは制御に応じてガンマ補正した画像データを画像合成部９６または同時化処理部９８に出力する。ガンマ変換部９４ａは、補正したデータを画像データ１１０としてＣＰＵ　１２に出力する。ガンマ変換部９４ｂは、制御に応じてガンマ補正した画像データを画像合成部９６に出力する。
【００３４】
画像合成部９６は、供給される画像データを各フォトダイオード３２に対応させて合成する機能を有する。例えばあるダイオード３２のうち、主従感光部３４、３６からそれぞれ得られた画像データが画像メモリ８８ａ、８８ｂにそれぞれ格納される場合、これら感度の異なる感光部３４、３６から得られるデータが画像合成部９６によって合成される。この合成機能によりダイナミックレンジ拡大が実現される。画像合成部９６は、合成結果を同時化処理部９８に出力する。
【００３５】
同時化処理部９８は、供給される合成結果を用いて画素補間処理および色補間処理を行う機能を有する。画素補間処理は、フォトダイオード３２の画素ずらし配列によって生じるフォトダイオードのない空領域、仮想画素の補間を行う。同時化処理部９８は、補間された画像データを補正部１００に出力する。
【００３６】
補正部１００は、プレーンな３色の画像データを基に色差マトリクス処理、輪郭強調処理およびゲイン調整等の補正処理を施す機能を有する。補正部１００は、各種補正を施した画像データを圧縮／伸長処理部１０２に出力する。
【００３７】
圧縮／伸長処理部１０２は、静止画や動画（ムービー）モードにおいて供給される画像データにＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１、ＭＰＥＧ−２等の規格でそれぞれ圧縮処理を施す。圧縮された画像データ１１２は図２に示す記録メディア１１４に送られ、記録される。また、メディア１１４に記録された圧縮画像は、圧縮／伸長処理部１０２に適宜読み込まれることにより、圧縮処理と逆の伸長処理によって再生される。
【００３８】
画像縮小部１０４は供給される画像データのサイズを考慮して間引き処理を行い、表示部１１６に表示サイズ・表示形式データに調整する機能を有する。画像縮小部１０４は、調整された画像データ１１８を表示部１１６に供給する。
【００３９】
ＣＰＵ　１２は輝度分布評価値算出部１２０を含む。輝度分布評価値算出部１２０は、供給される画像データ１１０を基に輝度分布の演算処理により測光の評価値（積算値）を算出する。算出部１２０は、算出した測光評価値と所定の評価値とを比較し、ダイナミックレンジ拡大を行うか否か、行うとした場合にはＣＣＤ　２２の読み出し方法をどのようにするかを決定する。
【００４０】
ダイナミックレンジ拡大を行うか否かを判断する理由は、被写界にハイライト情報が豊富でないのに不用意にダイナミックレンジ拡大を行うと、軟調な画像が生成されてしまうからである。ダイナミックレンジ拡大を行うか否かの判断は、最も単純には、例えば、ある設定値以上の輝度を有する画像データが所定の数以上検出されたか否かによって判断すればよい。無論、他の方法によって輝度の分布状況を判断して行ってもよい。
【００４１】
ダイナミックレンジ拡大を行うと決定した場合には、さらにＣＣＤ　２２の読み出し方法を決定する。すなわち、各フォトダイオード３２を構成する主従感光部３４、３６のうち、主従感光部３４、３６両方の画像データを独立して読み出す第１の読み出し方法、主感光部３４で得られた画像データのみを読み出す第２の読み出し方法、あるいは主従感光部３４、３６両方の画像データを混合して読み出す第３の読み出し方法のいずれかに決定する。
【００４２】
第１の読み出し方法の場合は、主従感光部３４、３６からそれぞれ独立に、２フィールド分の読み出し時間をかけて読み出された画像データを合成してダイナミックレンジ拡大を行う。一方、第２および第３の読み出し方法にあっては、１フィールド分の読み出し時間をかけて読み出された画像データに、異なるゲインを乗じて２通りの画像データを生成し、それらを合成してダイナミックレンジ拡大を行う。
【００４３】
ダイナミックレンジ拡大を行う場合に、さらにこのように第１ないし第３の読み出し方法から１つを選択するのは、カメラのＩＳＯ感度設定および被写界の輝度分布によっては、主従感光部３４、３６を独立に読み出す場合に得られる広いダイナミックレンジが、主感光部３４の情報だけでカバーできるケースもあるからである。例えば、既に述べたように、主感光部３４だけでも、ＩＳＯ１００設定時に対してＩＳＯ４００設定時は情報量が４倍まで格納されていることになるから、被写界の輝度分布のばらつきが少なければ、２フィールド分の時間をかけて主従感光部３４、３６を独立に読み出す代わりに、１フィールド分の短時間で主感光部３４から得られる画像データのみを読み出すだけで十分に対応できる。また、主従感光部３４、３６を混合して読み出すこととしてもよい。
【００４４】
ＣＰＵ　１２は、決定したＣＣＤ　２２の読み出し方法に応じて、ゲイン設定信号６９、７１を回路５８に与え、制御信号７３を発することによりタイミング発生器２４を介してゲイン切替信号７０を回路５８に与える。例えばＩＳＯ２００設定時に、主従感光部３４、３６両方の画像データを独立して読み出す場合は、主感光部３４からの画像データをゲインアップするＧＣＡ　６２をゲイン２とし、従感光部３６からの画像データをゲインアップするＧＣＡ　６４をゲイン１とする。主感光部３４からの画像データのみを読み出す場合も、ゲイン設定は上記と同様であるが、信号７０によりスイッチ７２、７４を高速に切り替えて、各画像データから、ＧＣＡ　６２によりゲイン２によってゲインアップしたものと、ゲイン１によってゲインアップしたものと、両方のゲインアップデータを取得する。また主従感光部３４、３６を混合して読み出す場合には、各画像データから、ＧＣＡ　６２、６４によるゲインアップデータを取得するが、出力電圧が高くなっているため、ＧＣＡ　６２に設定するゲインを２より小さい値とすることができる。したがって、Ｓ／Ｎ比の高いノイズの少ない画像が得られ有利となる。
【００４５】
以下、本発明の実施例の動作を図６ないし図９を参照して説明する。図６は本実施例の動作フローの前半を示すフローチャートであり、図７および図８はそれぞれ、共通の前半部である図６に続く２通りの後半の動作フローを示すフローチャートである。まずカメラ１０の電源が入ると、操作キー１４のＩＳＯ感度設定部よりＣＰＵ　１２に対してＩＳＯ感度設定信号１５が発せられる（ステップＳ２００）。ここでは、主感光部３４のＩＳＯ感度を通常のＩＳＯ１００より高い例えばＩＳＯ４００に感度設定して、主感光部３４の有するダイナミックレンジを拡大する場合の動作を説明する。感度設定すると、ＣＰＵ　１２は回路５８にゲイン設定信号６９、７１を与えてＧＣＡ　６２をゲイン４に設定し、ＧＣＡ　６４をゲイン１に設定する。
【００４６】
次に、操作キー１４に含まれるレリーズシャッタボタンをユーザが操作して第１段のストローク（Ｓ１）をオンにされるのを待つ（ステップＳ２０２）。オンにされると、デジタルカメラ１０は本撮影準備（予備測光）の段階になる（ステップＳ２０４）。ここで光学系１６によって自動露出、自動焦点合わせを行い、光学系を介して被写界から取り込まれＣＣＤ　２２から読み出された予備測光データは、例えば回路５８のゲイン１に設定されたＧＣＡ　６４を通ってＡＤ変換器８０によってＡＤ変換され、信号処理部８６の、例えば画像メモリ８８ａに一時的に記録される。予備測光データはＷＢゲイン部９２ａによってホワイトバランス調整・ゲイン調整され、ガンマ変換部９４ａでガンマ補正された後、信号１１０としてＣＰＵ　１２の輝度分布評価値算出部１２０に送られる。
【００４７】
算出部１２０は輝度分布評価値を算出する（ステップＳ２０６）。この例ではＩＳＯ４００に設定されているから、主画素再現域５２のみでシーンを再現できるか否か、すなわちダイナミックレンジ拡大を行う必要があるか否かを判断する（ステプＳ２０８）。ダイナミックレンジ拡大を行う必要がないと判断した場合には、操作キーの第２段のストローク（Ｓ２）がオンにされると同時に本撮像を行い、通常の信号処理（ステップＳ２１０）を行う。すなわち、再現域５２を有する画像データはゲイン１のＧＣＡ　６４を通して信号処理部８６に運ばれ、そこで各種処理を受けて記録メディア１１４に記録される（ステップＳ２１２）。
【００４８】
一方、算出部１２０がダイナミックレンジ拡大を行うと決定した場合は、さらに主感光部の飽和レベル３８で当該シーンを再現可能か否かを判断する（図７に示すステップＳ２１４）。言い換えれば、主画素再現域４０の中で、４倍のダイナミックレンジ拡大が可能か否かを判断することにより、信号電荷の読み出し方法を選択する。不可能であれば、ＣＣＤ　２２の読み出しを既に述べた第１の読み出し方法または後述の第３の読み出し方法によって行い（ステップＳ２１６またはＳ２１９）、可能であれば第２の読み出し方法によって行う（ステップＳ２１７）。
【００４９】
主画素再現域４０の中で、４倍のダイナミックレンジ拡大が不可能な場合は、第１または第３の読み出し方法のいずれかを以下の方法で選択する（ステップＳ２１４）。第３の読み出し方法は、主従感光部３４、３６の信号電荷を混合して読み出す方法である。この方法による場合、図４に示すように、主感光部３４の飽和レベル３８（４００ｍｖ）と、従感光部３６の飽和レベル４８（１００ｍｖ）とが加算された５００ｍｖの飽和レベルが確保される。したがって、５００ｍｖの飽和レベルがあれば４倍のダイナミックレンジの拡大が可能な場合は第３の方法で読み出しを行い（ステップＳ２１９）、５００ｍｖの飽和レベルでもダイナミックレンジの拡大が不可能な場合は、第１の方法で読み出しを行う（ステップＳ２１６）。
【００５０】
第１の読み出し方法による場合は、まず主感光部３４の画像データを読み出し（ステップＳ２１８Ａ）、ゲイン１のＧＣＡ　６４を通してデジタル化し画像メモリ８８ａに書き込む（ステップＳ２２０）。次に、従感光部３６の画像データを読み出し（ステップＳ２２２Ａ）、同様にゲイン１のＧＣＡ　６４を通してデジタル化し画像メモリ８８ｂに書き込む（ステップＳ２２４）。その後、デジタル化された段階でゲイン調整等の各種処理を処理部８６において行う。画像合成部９６において主従感光部３４、３６の画像データが合成され、ダイナミックレンジ拡大が行われる（ステップＳ２２６）。
【００５１】
第２の読み出し方法を行う場合は、感度を高くしたことによってダイナミックレンジを拡大した主感光部３４の信号電荷のみを読み出す（ステップＳ２１７）。アナログデータの段階ではゲインアップせず、ゲイン１のＧＣＡ　６４を通してデジタル化した後、同じ画像データを２つの画像メモリ８８ａ、８８ｂにそれぞれ書き込む（ステップＳ２２８Ａ）。この場合は、主画素再現域４０の中で４倍のダイナミックレンジを確保する必要があるため、デジタル化された段階でＷＢゲイン部９２ａ、９２ｂにより同じデータのゲイン調整を行い、画像合成部９６において合成することによって、ダイナミックレンジ拡大が行われる（ステップＳ２２６）。具体的には、メモリ８８ａに格納したデジタル信号をゲイン４によってゲインアップし、メモリ８８ｂに格納したデジタル信号と合成する。これによって主感光部３４のみを使用して固体撮像素子のダイナミックレンジを拡大する。
【００５２】
第３の読み出し方法を行う場合は、主従感光部３４、３６の信号電荷を混合して読み出す（ステップＳ２１９）。その後の処理は基本的に第２の読み出し方法と同様であるが、第３の読み出し方法の場合は出力電圧が上がるため感度が上がるし、その後のゲインの値も低く抑えることができるため、Ｓ／Ｎ比の高いノイズの少ない画像が得られ好都合である。
【００５３】
図８は図７と同様、図６の前半動作フローに続く後半動作フローのフローチャートであるが、画像データをアナログ段階でゲインアップする点で図７と異なる。図７と異なる点のみ説明すると、第１の読み出し方法を行う場合に、主感光部３４の画像データを独立に読み出した場合は、ゲイン４に設定したＧＣＡ　６２を選択してアナログゲインアップを行う（ステップＳ２１８Ｂ）。一方、従感光部３６の画像データを独立に読み出した場合は、ゲイン１に設定したＧＣＡ　６４を選択する。このようにアナログ段階でゲインアップすることによって、デジタル化した後にゲイン調整する場合に量子化誤差までもが増幅されてしまうという不利益が回避され、図７の場合よりＳ／Ｎ比が高いノイズの少ない画像が得られるという利点がある。
【００５４】
図９は、図８において第２の読み出し方法（ステップＳ２１７）を用いてゲイン切替制御（ステップＳ２３０）を行う際の各種信号のタイムチャートである。図９（ａ）に示すＣＣＤ出力は、主感光部３４から得られた画素アナログデータを示す。１画素を表す信号波形はリセット期間２５０、フィールドスルーレベル２５２および信号レベル２５４に大別される。図９（ｂ）（ｃ）は、タイミング発生器２４からＣＤＳ　６０に与えられるサンプルホールド信号ＳＨＰ、ＳＨＤであり、それぞれ１画素を表す波形のフィールドスルーレベル２５２および信号レベル２５４を相関二重サンプリングしてノイズを低減するものである。
【００５５】
図９（ｄ）に示すＣＤＳ出力は、サンプルホールド信号ＳＨＤによって得られた信号レベル２５４を差分反転して出力するものであり、図５に示す信号２５６である。図９（ｅ）のゲイン切替は図５に示すゲイン切替信号７０の波形であり、スイッチ７２、７４が切り替えられるタイミングを示している。信号７０がハイレベルの時にＧＣＡ　６２（ゲイン４）が選択され、ローレベルの時にＧＣＡ　６４（ゲイン１）が選択される。
【００５６】
図９（ｄ）（ｅ）に示すように、１画素分のＣＤＳ出力レベルに対して、ゲイン切替信号はハイレベルおよびローレベルに切り替えられる。したがって、それぞれＧＣＡ　６２、６４の異なるゲインによってアナログゲインアップした信号が図９（ｆ）（ｇ）に示すように生成され、これらはそれぞれ図５に示す信号２５８、２６０に相当する。
【００５７】
図９（ｆ）はゲイン４のＧＣＡ　６２によってＣＤＳ出力を４倍にゲインアップした高ゲインアップ信号を示していて、図９（ｇ）はゲイン１のＧＣＡ　６４によってＣＤＳ出力をゲインアップした低ゲインアップ信号を示している。スイッチ７４はスイッチ７２と同期して共通の切替信号７０によってスイッチングされるため、図５に示す出力信号２６２は、図９（ｈ）に示すように出力される。結局、図９（ｄ）に示す１画素分のＣＤＳ出力レベルからは、２通りにゲインアップされた信号２６２が出力されることとなる。
【００５８】
このように、図８に示す信号読み出し方法は、主感光部３４で得られた画像データのみを読み出すがアナログ段階ではゲインアップせず、実質的に同じデータが画像メモリ８８ａ、８８ｂに書き込まれていた図７に示す読み出し方法と異なり、アナログ段階で２通りのゲインによりゲインアップしておくことにより、図７の場合よりＳ／Ｎ比が高いノイズの少ない画像が得られるという利点がある。２通りにゲインアップされたアナログ信号は、クランプ回路６６を経て信号７８として出力され、ＡＤ変換器８０によって、図９（ｉ）に示すＡＤ変換クロックパルスに従ってデジタル化される。ゲイン４および１によってゲインアップされた信号はそれぞれ、２つの画像メモリ８８ａ、８８ｂに書き込まれる（ステップＳ２２８Ｂ）。
【００５９】
図８の場合は、アナログ段階でゲインアップすることにより主画素再現域４０の中で４倍のダイナミックレンジを確保しているため、デジタル化された段階では、ＷＢゲイン部９２ａ、９２ｂによりホワイトバランス用のゲイン調整を行えばよく、ダイナミックレンジ拡大用にゲインアップする必要はない。これ以降は図７と同様であり、画像合成部９６において２通りにゲインアップされた高ゲインアップ信号と低ゲインアップ信号とを合成することによって、ダイナミックレンジ拡大が行われる（ステップＳ２２６）。これによって主感光部のみを使用して固体撮像素子のダイナミックレンジを拡大する。
【００６０】
図８において第３の読み出し方法（ステップＳ２１９）を用いる場合、主従感光部３４、３６の信号電荷を混合して読み出す点は図７に示すステップＳ２１９と同様であり、その後のステップＳ２３０以降の処理は、基本的に第２の読み出し方法と同様である。ただし、第３の読み出し方法の場合は出力電圧が上がるため感度が上がるし、ステップＳ２３０においてアナログ段階でゲインアップする際のゲインの値も低く抑えることができるため、Ｓ／Ｎ比の高いノイズの少ない画像が得られ好都合である。
【００６１】
本実施例では、特に説明を省いたが、読み出し順番に関して、熱拡散による飽和量低下の影響があるため、基本的に信号処理上の負担が大きい主感光部の読み出しを行い、従感光部の読み出しを行う順番で読み出すのが有利である。
【００６２】
【発明の効果】
このように本発明によれば、輝度分布のばらつきの小さいシーンでは、従感光部で得られる画像データを読み出すことなく、専ら主感光部から読み出した画像データを利用して広いダイナミックレンジを確保することができる。したがって、特にシステムを変更することなく、主従感光部を独立して読み出す場合と同様のダイナミックレンジ拡大による効果が得られる。また主従感光部を混合して読み出す方法によれば、さらに感度アップやＳ／Ｎ比についても有利となる。さらに、すべての読み出し方法において、アナログ段階で２通りにゲインアップする方法を用いれば、Ｓ／Ｎ比も高くすることができる。
【００６３】
本発明によれば、主従感光部の画像データを独立して読み出す場合と比較して、読み出し時間を短縮して連写速度を高速化することができ、消費電力を低減するなどの効果が得られる。また、主感光部の画像データのみを読み出す場合は、従感光部によるシェーディングの影響を回避する事も可能である。
【図面の簡単な説明】
【図１】本発明による固体撮像素子の信号読み出し方法を適用するデジタルスチルカメラに含まれる信号処理部のブロック図である。
【図２】図１に示す信号処理部を含むデジタルスチルカメラのブロック図である。
【図３】図２に示すＣＣＤを構成するフォトダイオードの構成図である。
【図４】図３に示すフォトダイオードの光電変換特性を示すグラフである。
【図５】図２に示すＣＤＳ／ＧＣＡの詳細図である。
【図６】本発明の実施例の動作フロー前半を示すフローチャートである。
【図７】図６に続く動作フロー後半を示すフローチャートである。
【図８】図６に続く他の動作フロー後半を示すフローチャートである。
【図９】図８において画像データ読み出し方法の１つを行う際の各種信号のタイムチャートである。
【符号の説明】
１０　デジタルカメラ
２２　電荷結合素子
６２、６４　ゲインコントロール増幅器
８８ａ、８８ｂ　画像メモリ
９６　画像合成部
１２０　輝度分布評価値算出部
【図１】
2004128562.tif 000003
【図２】
2004128562.tif 000004
【図３】
2004128562.tif 000005
【図４】
2004128562.tif 000006
【図５】
2004128562.tif 000007
【図６】
2004128562.tif 000008
【図７】
2004128562.tif 000009
【図８】
2004128562.tif 000010
【図９】
2004128562.tif 000011