(57)【要約】      （修正有）【課題】読み出し画素数の減少や、フレームレートの低下の問題を発生させず、かつ、高ゲイン状態で取得した画像信号の黒レベル合わせの精度低下を起こさずに、低ゲイン状態で取得した画像信号の黒レベルのずれを低減させることができる撮像装置を提供する。【解決手段】撮像素子は、行列状に配列される複数の画素と、画素から転送された信号電圧に対して、増幅率を複数変更した複数の画像信号を出力する増幅手段、および、増幅率の異なる画像データを合成する合成手段を持つ。撮像素子は、画素をリセットした直後のノイズ信号を１フレーム分記憶する記憶手段を備え、ある増幅率のノイズ信号と光信号を取得し、これらの信号の差分により生成された輝度信号の大きさに基づいて、もう一方の増幅率で信号を読出す際に、ノイズ信号と光信号のどちらを取得するかを選択し、ノイズ信号を取得することが選択された場合には、取得したノイズ信号を記憶手段に記憶させる。【選択図】図６
2020205465.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配列されるとともに、光電変換により信号電圧を生成する複数の画素と、
信号電圧を増幅する増幅手段と、
前記画素から転送されたひとつの信号電圧に対して、増幅手段の増幅率を複数変更した複数の画像信号を出力する撮像素子と、
前記増幅率の異なる信号電圧を用いて生成した画像データを合成する合成手段と、
前記画素をリセットした直後のノイズ信号を１フレーム分記憶させ、保持させるための記憶手段と、を備え、
ある増幅率のノイズ信号と光信号を取得し、これらの信号の差分により生成された輝度信号の大きさに基づいて、もう一方の増幅率で信号を読出す際に、ノイズ信号と光信号のどちらを取得するかを選択し、ノイズ信号を取得することが選択された場合には、取得したノイズ信号を前記記憶手段に記憶させることを特徴とする撮像装置。
【請求項２】
起動後、最初のフレームで、前記画素をリセットした直後のノイズ信号を、前記記憶手段に記憶させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮像装置の補正データの調整を行う際に、前記検出したノイズ信号を、前記記憶手段に記憶させることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
温度に応じて、前記記憶手段に記憶させたノイズ信号に演算処理を加え、それを最終的なノイズ信号として用いることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項５】
所定以上の期間、前記記憶手段に記憶させたノイズ信号が更新されない場合、撮像素子の駆動方法を一時的に変更し、前記ノイズ信号を更新させることを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置の制御に関する。
【背景技術】
【０００２】
近年の撮像素子において、単純に画素で光電変換された映像信号を出力するだけでなく、ダイナミックレンジを拡大するための技術が提案されている。
【０００３】
特許文献１には、一つの画素列に対して、複数の垂直信号線で信号を読み出し、同一画素に対して複数の異なるゲインで読み出す技術が提案されている。特許文献１のような構成であれば、低ゲインの画像信号と高ゲインの画像信号を出力し、後段の画像処理でそれぞれの画像を合成することで、高ダイナミックレンジ、かつ低ノイズな映像信号を作り出すことが可能である。
【０００４】
また、ダイナミックレンジを拡大するためには撮像素子のノイズも抑える必要がある。撮像素子のノイズを低減する方法として、画素の光信号電圧を読み出す前に、予めリセットノイズ電圧を読み出しておき、ノイズ電圧と光信号電圧との差分をとることにより、リセットノイズ、及び固定パターンノイズを除去することでノイズ低減を行う方法（Ｓ−Ｎ処理）が、一般的に知られている。
【０００５】
特許文献２には、予めリセット信号をメモリに記憶させ、光信号を読み出す際にメモリからリセット信号を読み出しながら、光信号とリセット信号の差動出力を最終出力として撮像素子から出力する技術が提案されている。この技術を用いることでノイズを低減させ、ダイナミックレンジをさらに拡大することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５―１２８２５３号公報
【特許文献２】特許第５２５３２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の構成だと、各画素列毎に上下に列回路を配置する必要があるため、回路規模が大きくなってしまう。回路規模を減らすためには、時間方向にゲインを切替える方法が考えられるが、時間方向にゲインを切替えると、切替え後のゲインでノイズ（Ｎ）信号成分を読み出すことが出来ないため、Ｓ−Ｎ処理によるノイズ低減が出来なくなる問題があった。
【０００８】
例えば、まず高ゲインの条件で画素リセットを行った直後のノイズ（Ｎ）信号を読み出した後、同じ高ゲイン条件で光（Ｓ）信号を読み出す。そして、光信号電荷をそのまま保持した状態で、ゲイン条件を低ゲインに切替え、低ゲイン条件で光（Ｓ）信号を読み出す方法が考えられる。この場合、高ゲイン条件においては、ノイズ信号と光信号の両方を取得できるため、リセットノイズや固定パターンノイズに起因するノイズ成分を大幅に低減できる。しかし、低ゲイン条件においては、光信号のみしか取得できていないため、ノイズ成分がそのまま残ってしまう。
【０００９】
Ｓ−Ｎ処理によるノイズ低減が出来ない場合、ダイナミックレンジが狭まるだけでなく、黒の基準レベル（以下、黒レベルと記載）がずれるという問題も引き起こしてしまう。黒レベルがずれると、ＲＧＢの比率のバランスが崩れてしまい、画面全体に色づきが発生してしまう。また、黒レベルが異なる複数の画像を合成しようとすると、同じ被写体の明るさでも画像合成後の出力輝度が異なるため、うまく合成できないことや、輝度に応じて各画像の合成比率を変えるような合成方法を行う際に、リニアリティが良くない輝度領域が発生してしまい、擬似輪郭（ビット飛び）が発生してしまうこともある。
【００１０】
この黒レベルずれを低減させる方法としてまず考えられるのは、高ゲイン条件でノイズ信号と光信号を取得後、低ゲイン条件で光信号を取得し、その後さらに画素リセットをかけて低ゲイン条件におけるノイズ信号を取得する方法である。
【００１１】
しかしこの方法だと、低ゲイン条件で、リセットを行う処理とノイズ信号を読み出す処理が追加されるため、読み出し時間が長くなってしまう。読み出し時間が長くなることで、最大で読み出せる画素数が減ったり、最大フレームレートが低下したりするという別の問題が発生してしまう。近年、多画素化、高フレームレート化が進む中で、読み出し時間を延ばす処理にしてしまうと、弊害による影響が大きい。
【００１２】
上述した黒レベルずれを低減させる他の方法として考えられるのは、低ゲイン条件のノイズ信号と、高ゲイン条件のノイズ信号を交互に取得する方法である。異なるゲイン条件で、ノイズ信号を、１ラインおき、もしくは１フレームおきに交互に取得することで、両方のゲイン条件においてリセットノイズや固定パターンノイズを低減させることが出来る。しかし、ノイズ信号を取得する間隔が延びるため、ノイズレベルが急峻に変化した時などに、黒レベルのずれに追従しにくくなってしまう。特に、高ゲイン条件と低ゲイン条件で取得した画像を後段の画像処理手段で合成する際に、低輝度側に高ゲイン条件で取得した画像信号が用いられるため、高ゲイン条件における画像信号の黒レベルは、より精度良く合わせておきたいという要望がある。つまり、高ゲイン条件におけるノイズ信号は、リアルタイムに常時取得しておきたいが、この方法だとそれが不可能になる。
【００１３】
本発明の目的は、画素信号の読み出し時間が長くなることによる読み出し画素数の減少や、フレームレートの低下の問題を発生させず、かつ、高ゲイン状態で取得した画像信号の黒レベル合わせの精度低下を起こさずに、低ゲイン状態で取得した画像信号の黒レベルのずれを低減させる方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明に係る撮像装置は、
行列状に配列されるとともに、光電変換により信号電圧を生成する複数の画素と、信号電圧を増幅する増幅手段と、前記画素から転送されたひとつの信号電圧に対して、増幅手段の増幅率を複数変更した複数の画像信号を出力する撮像素子と、前記増幅率の異なる信号電圧を用いて生成した画像データを合成する合成手段と、前記画素をリセットした直後のノイズ信号を１フレーム分記憶させ、保持させるための記憶手段と、を備え、
ある増幅率のノイズ信号と光信号を取得し、これらの信号の差分により生成された輝度信号の大きさに基づいて、もう一方の増幅率で信号を読出す際に、ノイズ信号と光信号のどちらを取得するかを選択し、ノイズ信号を取得することが選択された場合には、取得したノイズ信号を前記記憶手段に記憶させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ダイナミックレンジ拡大を目的として、１つの画素信号電圧に対してゲイン設定を変更しながら複数の画素信号を出力させることが可能な撮像装置において、画素信号の読み出し時間が長くなることによる読み出し画素数の減少や、フレームレートの低下の問題を発生させず、かつ、高ゲイン状態で取得した画像信号の黒レベル合わせの精度低下を起こさずに、低ゲイン状態で取得した画像信号の黒レベルのずれを低減させる方法の提供を実現できる。
【図面の簡単な説明】
【００１６】
【図１】（ａ）は本発明の実施形態１に係る、従来の撮像素子の駆動方法を実現するためのブロック図である。（ｂ）は本発明の実施形態１に係る、図１（ａ）における画素部から水平転送回路までの構成を示す模式図である。
【図２】本発明の実施形態１に係る、画素部の詳細な構成を示す図である。
【図３】本発明の実施形態１に係る、列アンプ内の詳細な構成を示す図である。
【図４】本発明の実施形態１に係る、従来の撮像素子の駆動方法を示すタイミングチャートである。
【図５】本発明の実施形態１に係る、従来の撮像素子の駆動方法を示すフローチャートである。
【図６】本発明の実施形態１に係る、高ゲイン時の黒レベルずれを低減させるための撮像素子の構成を示す図である。
【図７】本発明の実施形態１に係る、高ゲイン時の黒レベルずれを低減させるための撮像素子のＲＡＭ構成を示す図である。
【図８】本発明の実施形態１に係る、入射光量に対する高ゲイン時、及び低ゲイン時の出力輝度をグラフ化したイメージ図である。
【図９】本発明の実施形態１に係る、高ゲイン時の黒レベルずれを低減させるためのフローチャートである。
【図１０】本発明の実施形態１に係る、高ゲイン時の黒レベルずれを低減させるためのタイミングチャートである。
【図１１】本発明の実施形態１に係る、ＡＢＢ機能を用いて黒レベル合わせを行う際のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１８】
＜第１の実施形態＞
本発明の第１の実施形態について説明する。
【００１９】
まず、背景でも簡単に説明した、従来のダイナミックレンジ拡大を目的とした撮像素子の駆動方法について説明する。
【００２０】
図１（ａ）は、従来の撮像素子の駆動方法を実現するためのブロック図である。図１において、１０１は画素部、１０２は列アンプ、１０３はＡＤ変換回路、１０４は水平転送回路、１０５は輝度算出回路、１０６はＲＡＭ、１０７は出力回路である。
【００２１】
図１（ｂ）は、図１（ａ）における画素部１０１から水平転送回路１０４までの構成を模式的に示した図である。図１（ａ）、（ｂ）を用いて、従来のダイナミックレンジ拡大を目的とした撮像素子の基本的な回路構成と、信号生成の流れの一例について説明する。
【００２２】
図１（ａ）における画素部１０１の詳細な構成を図２に示す。図２において、２０１は光電変換素子、２０２は転送スイッチ、２０３は電荷保持部、２０４は画素アンプ、２０５は垂直線、２０６は電流源、２０７はリセットスイッチである。
【００２３】
光電変換素子２０１は、フォトダイオードの上部にカラーフィルタ及びマイクロレンズを備えており、光電変換機能を用いて光を電荷に変換する。図２には１画素分の画素構成のみ記載しているが、図１（ｂ）に示す、画素領域１１０としては複数の光電変換素子２０１が行列状に配置された構成となっている。
【００２４】
転送スイッチ２０２は光電変換素子２０１で発生した電荷を電荷保持部２０３に転送する機能をもつ。
【００２５】
電荷保持部２０３は、光電変換素子２０１で発生した電荷を一時的に保持する。
画素アンプ２０４は、電荷保持部２０３の信号を垂直線２０５を通して、後段の列アンプ１０２へ送信する。
【００２６】
電流制御部２０６は垂直線２０５の電流量を調整することが可能で、画素出力のドライブ能力として制御を行うことが可能である。
【００２７】
リセットスイッチ２０７は、画素に蓄積された電荷をリセットするためのもので、主に画素信号の蓄積開始前にノイズとして発生した電荷を、一旦リセットすることが可能である。
【００２８】
画素部１０１から出力された画素信号は、電流制御部２０６により適切なドライブ能力となるように電流量を調整され、列アンプ１０２に入力される。
【００２９】
図３は列アンプ１０２内の構成を示した図である。
【００３０】
図３を用いてダイナミックレンジ拡大用の画素を読み出す方法について説明する。
【００３１】
本実施例では、低輝度部分の映像信号を高いゲインで読み出し、高輝度部分の映像信号を低いゲインで読み出し、後段の信号処理で合成することでダイナミックレンジを拡大することを想定している。
【００３２】
列アンプ１０２はＡＭＰ３０６のオペアンプと、入力側のコンデンサＣ３０１とフィードバックコンデンサのＣ３０２、及びＣ３０３により反転増幅回路になっている。また、各スイッチ（ＳＷ３０４、ＳＷ３０５）により接続を切り替えることができる構成になっている。まず、適露光の映像信号である高ゲインの画素信号を読み出す場合は、ＳＷ３０４をＯＦＦし、ＳＷ３０５をＯＮすることで高ゲインの画素信号を読み出すことができる。このときの増幅率は、Ｃ３０１／Ｃ３０３となる。次に、高輝度部分の映像信号である低ゲインの画素信号を読み出す場合は、ＳＷ３０４、ＳＷ３０５をＯＮすることで低ゲインの画素信号を読み出す。このときの増幅率は、Ｃ３０１／（Ｃ３０２＋Ｃ３０３）となる。
【００３３】
このように、各スイッチによりコンデンサの容量を切り替えることで、１つの画素信号出力に対して、複数の異なるゲインにおける画素信号を読み出すことが可能になる。以下、高ゲイン状態、及び低ゲイン状態と記載された場合、上記ＳＷ３０４、ＳＷ３０５の状態が、前述した高ゲインで読み出す状態、及び低ゲインで読み出す状態の設定になっていることを表す。
【００３４】
列アンプ１０２から出力されたアナログの画素信号は、ＡＤ変換回路１０３でデジタルデータに変換され、水平転送回路１０４により順次読み出される。水平転送回路１０４により読み出されたデジタル画像信号は、輝度算出回路１０５に出力される。
【００３５】
輝度算出回路１０５は、ＡＤ変換回路１０３から出力された画像信号をＲＡＭ１０６に書き込んだり、ＲＡＭ１０６に予め記憶させた画像信号を読み出したり、さらにはＡＤ変換回路１０３から出力された画像信号及びＲＡＭ１０６から読み出した画像信号を入力し演算処理を行って出力する処理を行う機能を有する。ＲＡＭ１０６は、少なくとも高ゲイン時におけるノイズ（Ｎ）信号を１ライン分記憶させられる領域を持つ。本実施例では、リセットスイッチ２０７をＯＮ状態からＯＦＦ状態に変更した直後における光電変換素子２０１の出力をノイズ（Ｎ）信号としてＲＡＭ１０６に予め１ライン分記憶させ、その後、光信号を読み出す際に、ＡＤ変換回路１０３から出力された光画素（Ｓ）信号と予めＲＡＭ１０６に記憶させておいたノイズ（Ｎ）信号との差分（Ｓ−Ｎ）信号を算出することで、輝度信号を生成する機能を有する。輝度算出回路１０５により生成された輝度信号は、出力回路１０７に光画像信号として出力される。
【００３６】
上記では、ある１画素についての信号の流れを説明したが、上記の信号生成フローを各ライン毎に行い、処理が終わり次第、図１（ｂ）に示す垂直走査回路１１１を用いて、画面上部から画面下部へと順次読み出しを行っていく。
【００３７】
以上が、従来のダイナミックレンジ拡大を目的とした撮像素子の基本的な回路構成と、信号生成の流れの一例である。
【００３８】
続いて、図４のタイミングチャートを用いて、従来の撮像素子のより詳しい駆動方法について説明する。
【００３９】
先ず、水平同期信号（ＨＤ）が入力された後、ｔ１のタイミングで列アンプを高ゲイン状態に切替える。具体的には、ＳＷ３０４をＯＦＦの状態にしたまま、ＳＷ３０５をＯＦＦの状態からＯＮの状態に変更する。
【００４０】
ｔ２のタイミングで、画素部１０１内のリセットスイッチ２０７と転送スイッチ２０２を、ＯＮ状態からＯＦＦ状態に変更する。本実施例において、ｔ２より前のタイミングで転送スイッチ２０２をＯＮ状態にしておいたのは、光電変換素子２０１内で発生した電荷についてもリセットするためである。リセットしたいノイズ発生源が電荷保持部２０３のみである場合、転送スイッチ２０２をＯＮにしておく必要は無い。また、電荷保持部２０３に備えたリセットスイッチ２０７とは別に、光電変換素子２０１用に別途異なるリセットスイッチを設けて駆動制御しても良い。本実施例における説明は、あくまでも一例である。
【００４１】
ｔ２のリセット動作により、光電変換素子２０１及び電荷保持部２０３で発生したノイズ電荷がリセットされる。
【００４２】
ｔ３では、高ゲイン状態におけるリセット動作直後のアナログ的なオフセット電圧を、ＡＤ変換回路１０３を用いてデジタルデータに変換する。ＡＤ変換を行う際は、列ごとに設けた複数のＡＤ変換回路１０３を用いて、１ライン分の画素を列並列にＡＤ変換処理を行う。デジタルデータに変換されたノイズ（Ｎ）信号は、列ごとに水平転送回路１０４に出力される。
【００４３】
ｔ４では、ｔ３のタイミングで変換された１ライン分のノイズ（Ｎ）信号を水平方向に転送し、輝度算出回路１０５を介して、ＲＡＭ１０６に書き込み、保持させる。
【００４４】
ｔ５では、転送スイッチ２０２をＯＦＦ状態からＯＮ状態に変更し、光電変換素子２０１に蓄積された電荷を電荷保持部２０３に転送する。電荷転送後、転送スイッチ２０２をＯＮ状態からＯＦＦ状態に再び戻す。
【００４５】
ｔ５の電荷転送処理を行った後、光画素（Ｓ）信号の電圧値が安定したｔ６のタイミング（電圧値の変化は図示していない）で、電荷保持部２０３のアナログ的な光画素（Ｓ）信号の電圧を、ＡＤ変換回路１０３を用いてデジタルデータに変換する。変換された高ゲイン時のデジタル光画素（Ｓ）信号は、列ごとに水平転送回路１０４に出力される。
【００４６】
ｔ７では、ｔ６のタイミングで変換された１ライン分のデジタル光画素（Ｓ）信号を水平方向に転送し、輝度算出回路１０５に出力される。このとき輝度算出回路１０５は、ＡＤ変換回路１０３から出力される画素に対応するノイズ（Ｎ）信号をＲＡＭ１０６から読み出し、デジタル演算処理により差分（Ｓ−Ｎ）信号を生成し、これを輝度信号として出力する。そうすることで、ノイズによるオフセット成分を除去した、より精度の高い輝度信号を生成することが出来る。輝度算出回路１０５により生成された、高ゲイン状態における輝度信号は、出力回路１０７に出力される。
【００４７】
ｔ８では、列アンプのゲイン設定を高ゲイン状態から低ゲイン状態に変更する。具体的には、ＳＷ３０５はＯＮの状態のまま、ＳＷ３０４をＯＦＦの状態からＯＮの状態に切替える。列アンプ１０２のゲイン状態が安定した後、ｔ９の処理に進む。
【００４８】
ｔ９では、電荷保持部２０３に既に保持されているアナログ的な光画素（Ｓ）信号の電圧を、高ゲイン時と同様にＡＤ変換回路１０３を用いてデジタルデータに変換する。変換された低ゲイン時のデジタル光画素（Ｓ）信号は、列ごとに水平転送回路１０４に出力される。
【００４９】
ｔ１０では、ｔ９のタイミングで変換された１ライン分のデジタル光画素（Ｓ）信号を水平方向に転送し、輝度算出回路１０５に出力される。このとき輝度算出回路１０５は、ＡＤ変換回路１０３から出力された画素に対応する高ゲイン時のノイズ（Ｎ）信号をＲＡＭ１０６から読み出し、デジタル演算処理により差分（Ｓ−Ｎ）信号を生成し、これを輝度信号として出力する。輝度算出回路１０５により生成された、低ゲイン状態における輝度信号は、出力回路１０７に出力される。
【００５０】
図５は、図４のタイミングチャートを、フローチャートとして示したものである。
【００５１】
図５において、
Ｓ５０１のフローは、図４のｔ１、
Ｓ５０２のフローは、図４のｔ２、
Ｓ５０３のフローは、図４のｔ３〜ｔ４、
Ｓ５０４のフローは、図４のｔ５、
Ｓ５０５のフローは、図４のｔ６〜ｔ７、
Ｓ５０６のフローは、図４のｔ７〜ｔ９、
Ｓ５０７のフローは、図４のｔ８、
Ｓ５０８のフローは、図４のｔ９〜ｔ１０、
Ｓ５０９のフローは、図４のｔ１０〜
に、それぞれ該当する。
【００５２】
上記、Ｓ５０１〜Ｓ５０９の処理を終えた後、Ｓ５１０のフローで最終ラインであるかどうかを判定する。
【００５３】
Ｓ５１０のフローで、最終ラインでないと判定された場合、Ｓ５１１のフローに進み、新たな水平同期信号（ＨＤ）に同期して新たなラインを読み出すために、再びＳ５０１〜Ｓ５０９の処理を行う。Ｓ５１０のフローで、最終ラインであると判定された場合、終了処理を行い、次のフレームに進む。
【００５４】
以上が、従来のダイナミックレンジ拡大を目的とした撮像素子の駆動方法に関する、基本的な考え方である。
【００５５】
しかしながら、ダイナミックレンジの拡大を目的として、前述したような撮像素子の駆動方法を行うと、低ゲイン状態でのノイズ（Ｎ）信号が取得できないため、低ゲイン状態における輝度信号の黒レベルがずれてしまうことは背景で述べた通りである。黒レベルのずれを改善するためには、画素信号の読み出し時間が長くなることによる読み出し画素数の減少や、フレームレートの低下や、高ゲイン状態で取得した画像信号の黒レベル合わせ精度が低下する、などの弊害を引き起こしてしまう。
【００５６】
本実施例では、背景で述べたような、画素信号の読み出し時間が長くなることによる読み出し画素数の減少や、フレームレートの低下、などの問題を発生させず、かつ、高ゲイン状態で取得した画像信号の黒レベル合わせの精度低下を起こさずに、低ゲイン状態で取得した画像信号の黒レベルのずれを低減させる方法について述べる。
【００５７】
まず、本発明における回路構成を、図６に示す。図６に示した構成のうち６０１〜６０５、及び６０７の構成については図１に示した構成のものと同じであるため、説明を省略する。
【００５８】
ＲＡＭ６０６は、ＲＡＭ１０６と同じ機能を有するが、メモリ領域の構成が異なる。ＲＡＭ１０６では、１行分のラインメモリがあれば良かったが、ＲＡＭ６０６は、１行分のラインメモリとは別に、１フレーム分のフレームメモリが必要となる。
【００５９】
本実施例におけるＲＡＭ６０６の構成を、図７に示す。本実施例では、高ゲイン用のラインメモリと、低ゲイン用のフレームメモリの記憶領域を設けている。高ゲイン用のラインメモリには、高ゲイン時におけるノイズ（Ｎ）信号を１ライン分記憶させる領域を持ち、低ゲイン用のフレームメモリには、低ゲイン時におけるノイズ（Ｎ）信号を、１フレーム分記憶させる領域を持つ。このようなＲＡＭ構成にした理由は、高ゲインのノイズ（Ｎ）信号は常時リアルタイムに取得するためメモリ領域として１ライン分あれば足りる（光信号との差分から輝度信号生成後、すぐに消して良い）が、低ゲインのノイズ（Ｎ）信号は常時リアルタイムに取得出来るわけではないため、フレームを跨いで記憶・保持出来るようにしておく（光信号読み出し後も消さずに残しておく）。詳細については、後述する。
【００６０】
レベル判定回路６０８は、輝度算出回路６０５によって算出された画像信号の輝度値が、閾値以上であるかどうかを判定するための回路である。
【００６１】
ここで、本実施例におけるレベル判定に関する考え方について図８を用いて説明する。
【００６２】
図８は、入射光量に対する、高ゲイン時、及び低ゲイン時の出力輝度をそれぞれグラフ化したイメージ図である。
【００６３】
高ゲイン時には、入射光量がα以上になると飽和してしまうのに対し、低ゲイン時には、入射光量がα以上でも入射光量に応じて出力輝度は比例して高くなる。また、図示してないが、同じ入射光量でも、高ゲイン時の方がノイズ成分が小さく、低ゲインの方がノイズ成分が大きいという特性がある。つまり、高ゲイン状態で取得した画像信号と、低ゲイン状態で取得した画像信号を合成する際には、入射光量がα未満の画素に対しては、極力高ゲイン時に取得した画素信号を用いて、入射光量がα以上の画素に対しては、低ゲイン時に取得した画素信号を用いることで、ダイナミックレンジを最大限まで拡大することが可能となる。
【００６４】
図４のタイミングチャートに示した撮像素子の駆動制御では、まず高ゲインのノイズ（Ｎ）信号を取得した後に、光画素（Ｓ）信号を取得する。そしてその後、低ゲインの光画素（Ｓ）信号を取得する制御となっている。ここで、上記の画像合成処理を行うことを前提とすると、高ゲインの出力輝度が飽和していない場合は、合成後の画像として高ゲイン画像を用いることになるため、低ゲインの光画素（Ｓ）信号を取得する必要が一切無くなる。本発明では、高ゲイン時の出力輝度が飽和していない場合には（光信号は必要無いため）低ゲインのノイズ（Ｎ）信号を取得し、その取得したノイズ（Ｎ）信号をＲＡＭ６０６の低ゲイン用フレームメモリに記憶・保持させる。そして、そのフレームメモリの更新処理を毎画素行うようにする。
【００６５】
本実施例では、低ゲイン時の画素信号を取得する際に、光（Ｓ）信号とノイズ（Ｎ）信号のどちらを取得するかを判定するための閾値をβとし、高ゲイン状態で取得した画像信号の出力輝度が閾値β以上であった場合、リセット制御回路６０９を介して、画素部１０１内にあるリセットスイッチ２０７をＯＮする。
【００６６】
また、高ゲイン状態で取得した画像信号の出力輝度が閾値βよりも小さかった場合、リセットスイッチ２０７はそのままＯＦＦの状態のままにしておく。
【００６７】
以上が、レベル判定に関する考え方である。
【００６８】
続いて、本発明における撮像素子の駆動方法について、図９のフローチャート、及び図１０のタイミングチャートを用いて説明する。図４のタイミングチャート、及び図５のフローチャートで示した、従来の撮像素子の駆動方法がベースとなるため、図４、図５と同様の制御を行うものについては説明を省略し、制御の差分についてのみ説明する。
まず、図９のフローチャートについて説明する。
【００６９】
図９において、
Ｓ９０１はＳ５０１と同じ処理、
Ｓ９０２はＳ５０２と同じ処理、
Ｓ９０３はＳ５０３と同じ処理、
Ｓ９０４はＳ５０４と同じ処理、
Ｓ９０５はＳ５０５と同じ処理、
Ｓ９０６はＳ５０６と同じ処理、
Ｓ９１５はＳ５１０と同じ処理、
Ｓ９１６はＳ５１１と同じ処理であるため、説明を省略する。
【００７０】
Ｓ９０７では、Ｓ９０６のフローで輝度算出回路６０５により算出された高ゲイン状態における輝度信号に対して、レベル判定回路６０８を用いてレベル判定を行う。具体的には、高ゲイン状態における輝度信号が、閾値β以上であるかどうかを判定する。
【００７１】
輝度信号が閾値β以上の場合、低ゲイン状態で光画素（Ｓ）信号を取得する必要があるため、Ｓ９０８〜Ｓ９１０のフローに進む。
【００７２】
一方、高ゲイン時の輝度信号が閾値β未満であった場合、低ゲイン時の光画素（Ｓ）信号は合成画像を生成する際に用いられないため、低ゲイン時におけるノイズ（Ｎ）信号を取得するべく、Ｓ９１１〜Ｓ９１４のフローに進む。そうすることで、これまで低ゲイン状態における輝度信号を生成する際に、低ゲイン状態で取得した光画素（Ｓ）信号のノイズ成分が重畳していたため黒レベルずれが生じていたが、低ゲイン状態で取得した光画素（Ｓ）信号と、低ゲイン状態で取得したノイズ（Ｎ）信号との差分から、低ゲイン時の輝度信号を生成することが可能になるため、黒レベルずれを低減させることが出来る。
【００７３】
Ｓ９０８〜Ｓ９１０の処理は、図５で説明したＳ５０７〜Ｓ５０９の処理と同じであるため、省略する。
【００７４】
Ｓ９１１では、列アンプを低ゲインに切替える。この処理は、Ｓ９０７と同様の処理である。
【００７５】
Ｓ９１２では、各画素に対してリセット制御回路６０９を介してリセット処理を行う。Ｓ９０７のフローで、高ゲイン状態における輝度信号のレベルが閾値β未満だと判定されたため、低ゲインと高ゲインの画像を合成する際に、低ゲイン時の画素信号が使用されることは無い。つまり、画素にリセットをかけて、ノイズ（Ｎ）信号を取得しても、最終的な合成画像に対しては、画質劣化等の影響を与えることは無い。
【００７６】
Ｓ９１３では、低ゲイン状態でノイズ（Ｎ）信号を読み出す。読み出されたノイズ（Ｎ）信号は、Ｓ９１４のフローにてＲＡＭ６０６内の、低ゲイン用フレームメモリに書き込まれ、記憶・保持される。
【００７７】
Ｓ９１０で、低ゲイン時における輝度算出を行う際には、Ｓ９０９で取得した光画素（Ｓ）信号と、Ｓ９１４のフローでＲＡＭ６０６内の低ゲイン用フレームメモリに書き込まれたノイズ（Ｎ）信号との差分を求めることにより、輝度信号を生成する。そうすることで、ノイズ成分を低減させた低ゲイン状態における輝度信号を生成することが出来る。
【００７８】
ここで、本実施例における撮像素子の駆動制御の問題点として、ノイズ（Ｎ）信号を記憶する手段としてＲＡＭ６０６を用いるため、例えば起動直後にはフレームメモリにノイズ（Ｎ）信号のデータが無いということが想定される。その対策として、起動直後の最初のフレームで、低輝度におけるノイズ（Ｎ）信号を取得し、ＲＡＭ６０６に記憶させる方法を用いる。そうすることで、もし万が一、高ゲイン時の輝度レベルが閾値β以上が続いたとしても、少なくとも起動時の同じ低ゲイン設定時に取得したノイズ（Ｎ）信号を輝度生成時に使用することができる。
【００７９】
また、高ゲイン時の輝度レベルが閾値β以上という状況が続いた場合は、起動時に取得したノイズ（Ｎ）信号に、さらに温度係数などを用いて輝度生成をしても良い。例えば、起動時、低ゲインのノイズ（Ｎ）信号を取得した際の温度を予め記憶させておき、その後の温度変化量に応じて、初期値に対して温度係数を乗算したものを用いてこれを最終的なノイズ（Ｎ）信号として用いてもよい。撮像素子の特性に応じて、初期値を自由に演算させ、これをノイズ（Ｎ）信号をして用いることで、低ゲイン時のノイズ成分を低減させることが出来る。
【００８０】
予め、温度条件やゲイン条件、さらにシャッター速度など、様々な条件におけるテーブルデータを別途ＲＯＭなどに記憶させておき、そのテーブルデータからノイズ（Ｎ）信号を読み出しても良い。
【００８１】
また、黒レベルを合わせるためのオートブラックバランス（以下、ＡＢＢと記載）機能を有するカメラにおいては、黒レベルを正確に合わせたい撮影状況において、ＡＢＢを行うことが推奨される。この機能を用いる際に、低ゲイン時のノイズ（Ｎ）信号を取得し記憶させても良い。
【００８２】
以下、ＡＢＢ機能を用いる際の低ゲイン時におけるノイズ（Ｎ）信号を取得する一例について図１１を用いて説明する。
【００８３】
図１１では、まず前提として、複数のゲイン設定に対して黒レベルを取得するフローとしている。
【００８４】
Ｓ１１０１では、ゲイン設定をまず最も低いゲインに設定する。
【００８５】
Ｓ１１０２では、光が漏れていないかどうかを判定し、漏れていた場合にはＳ１１０３に進み、エラー終了する。
【００８６】
Ｓ１１０４では、最も低いゲインにおけるノイズ（Ｎ）信号を取得する。
【００８７】
Ｓ１１０５では、ゲイン設定が最低ゲインであるかどうかを判定し、最低ゲインの場合はＳ１１０６に進む。最低ゲインでない場合は、Ｓ１１０７に進む。
【００８８】
Ｓ１１０６では、取得した最低ゲインにおけるノイズ（Ｎ）信号を、フレームメモリに書き込む。この書き込まれた値が、最低ゲインにおける最新のノイズ（Ｎ）信号として使用される。フレームメモリが更新されたら、Ｓ１１０７に進む。
【００８９】
Ｓ１１０７では、光画素（Ｓ）信号を取得する。
【００９０】
Ｓ１１０８では、黒レベル（Ｓ−Ｎ）を生成する。
【００９１】
Ｓ１１０９では、生成された黒レベルを、（ＲＡＭ６０６に示したノイズ（Ｎ）信号記憶領域とは別の）ＲＡＭの黒レベル記憶領域に書き込む。この黒レベルは、通常撮影時におけるベースの黒レベル（（Ｓ−Ｎ）処理をしても残るオフセット成分）として使用される。
【００９２】
Ｓ１１１０では、ゲイン設定が最大ゲインとなっているかどうか判定する。最大となっている場合は、ＡＢＢを終了し、最大でない場合は、Ｓ１１１１に進み、ゲイン設定を変更する。ゲイン設定変更後、再びＳ１１０２〜Ｓ１１０９のフローを繰り返す。
【００９３】
以上説明したように、ＡＢＢ機能を使用する際に取得した、低ゲイン時のノイズ（Ｎ）信号をフレームメモリに書き込み、更新させることで、黒レベルのずれを低減させることが出来る。
【００９４】
以上、図９のフローチャートを用いて、本発明における撮像素子の駆動方法について説明した。
【００９５】
続いて、図１０は、図９のフローチャートに対応するタイミングチャートで、図４と違うところは、ｔ１１のタイミングである。ｔ１１のタイミングでは、レベル判定回路６０８により判定された結果に基づいて、リセット制御回路６０９を制御している。
【００９６】
画素部１０１をリセットする際には、リセットスイッチ２０７をＯＮの状態にする。また、画素部１０１をリセットする必要が無い際には、リセットスイッチ２０７は何もしない。
【００９７】
ｔ１１の制御は、各画素（列）ごとに個別に行うことが可能である。具体的には、低ゲイン時の信号を読み出す際に、光画素（Ｓ）信号を取得した場合はリセット動作を行わず、光画素（Ｓ）信号が不必要な場合は最新のノイズ（Ｎ）信号を取得するためにリセット動作を行う。ＲＡＭ６０６の低ゲイン用フレームメモリに記憶させた、低ゲイン時のノイズ（Ｎ）信号を常に最新の状態に更新させていくことにより、低ゲイン状態における輝度信号の黒レベルのずれを低減させることが出来る。
【００９８】
以上説明したように、本発明では、ダイナミックレンジ拡大を目的として、１つの画素信号電圧に対してゲイン設定を変更しながら複数の画素信号を出力させることが可能な撮像装置において、
画素信号の読み出し時間が長くなることによる読み出し画素数の減少や、フレームレートの低下の問題を発生させず、かつ、高ゲイン状態で取得した画像信号の黒レベル合わせの精度低下を起こさずに、低ゲイン状態で取得した画像信号の黒レベルのずれを低減させることが出来る。
【００９９】
＜第２の実施形態＞
第１の実施形態で説明した撮像素子の制御方法だと、もし図９のフローチャートのＳ９０７のフローで、高ゲイン時の輝度レベルが閾値β以上という状況が続いた場合、ＲＡＭ６０６に記憶されている低ゲイン時のノイズ（Ｎ）信号がずっと更新されないことになる。そのような状況でも、黒レベルのずれを合わせられるように、低ゲイン時のノイズ（Ｎ）信号が更新されなかったフレーム数をカウントし、カウント数が所定以上となった時にだけ、低ゲインのノイズ（Ｎ）信号を更新させる制御を行っても良い。
【０１００】
例えば、図９のＳ９０１のフローで、列アンプの設定を低ゲイン状態に切替えて、Ｓ９０３のフローで、低ゲイン状態のノイズ（Ｎ）信号を読み出す。その際に、ＲＡＭ６０６のフレームメモリを更新する。その後、Ｓ９０５のフローで、低ゲイン状態の光画素（Ｓ）信号を読み出し、低ゲイン時の輝度信号を生成する。その後、Ｓ９０７の判定は行わず、Ｓ９０８のフローで列アンプを高ゲインに切替えて、Ｓ９０９のフローで高ゲイン時の光画素（Ｓ）信号を取得する。Ｓ９１０のフローで高ゲイン時の輝度信号を算出する際のノイズ（Ｎ）信号は、一時的に前のフレームの高ゲイン時のノイズ（Ｎ）信号信号をＲＡＭ６０６内の別の空き領域に記憶させていても良いし、他の方法を用いて高ゲイン時のノイズ（Ｎ）信号を生成しても良い。
【０１０１】
また、低ゲインのノイズ（Ｎ）信号が更新されなかったカウント数が所定以上となったときだけ、個別に画素をリセットし、ブランキング期間にノイズ（Ｎ）信号として読み出してもよい。
【０１０２】
以上説明したように、低ゲイン時のノイズ（Ｎ）信号の更新状況に応じて、撮像素子の駆動方法を変更し、低ゲイン時のノイズ（Ｎ）信号を取得する制御を加えることで、万が一被写体の条件により低ゲインのノイズ（Ｎ）信号が更新されない場合でも、定期的に最新状態を保つことが可能となる。
【０１０３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【符号の説明】
【０１０４】
１０１  画素部、１０２  列アンプ、１０３  ＡＤ変換回路、
１０４  水平転送回路、１０５  輝度算出回路、１０６  ＲＡＭ、
１０７  出力回路、１１０  画素領域、１１１  垂直走査回路、
２０１  光電変換素子、２０２  転送スイッチ、２０３  電荷保持部、
２０４  画素アンプ、２０５  垂直線、２０６  電流制御部、
２０７  リセットスイッチ、６０１  画素部、６０２  列アンプ、
６０３  ＡＤ変換回路、６０４  水平転送回路、６０５  輝度算出回路、
６０６  ＲＡＭ、６０７  出力回路、６０８  レベル判定回路、
６０９  リセット制御回路
【図１】
2020205465.tif 000003
【図２】
2020205465.tif 000004
【図３】
2020205465.tif 000005
【図４】
2020205465.tif 000006
【図５】
2020205465.tif 000007
【図６】
2020205465.tif 000008
【図７】
2020205465.tif 000009
【図８】
2020205465.tif 000010
【図９】
2020205465.tif 000011
【図１０】
2020205465.tif 000012
【図１１】
2020205465.tif 000013