(57)【要約】【課題】撮像素子からの画像信号を欠落させず且つ蓄積時間にも制約を与えずに、精度良く撮像素子の固定パターンを補正する。【解決手段】撮像素子の撮像領域内に各列に少なくとも１つ以上の検出用画素を設け、該検出用画素の出力信号から、固定パターン検出部で撮像素子に起因する固定パターンを検出する。そして、検出された固定パターンに基づいて補正値を生成し、該補正値を用いて固定パターンを補正すると同時に、画素補間処理部で該検出用画素の補間を行う。【選択図】図１
2011024096.tif 000002
【特許請求の範囲】
【請求項１】
露光量に応じた画像信号を生成する光電変換素子を備えた画像撮像用の複数の画素がマトリックス状に配置された撮像領域内の各列に少なくとも１つ以上の検出用画素を設けた撮像素子と、
前記画像撮像用の複数の画素及び前記検出用画素に対する読み出し動作をそれぞれ独立に制御する制御手段と、
前記検出用画素に対する読み出し動作より得られる信号出力から、前記撮像素子を用いて撮像された画像中の固定パターンを検出する固定パターン検出手段と、
前記検出された固定パターンに基づいて補正値を生成し、該補正値を用いて前記固定パターンを補正する固定パターン補正手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記撮像素子は、前記撮像領域内の前記検出用画素と前記画像撮像用の複数の画素を同時に読み出し可能な構成としたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出用画素を、前記制御手段の制御信号に従って、前記固定パターンを検出するための動作と、前記画像信号を生成するための動作とで切り替え可能に構成したことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記検出用画素は、入射光を電荷に変換する変換手段、前記変換手段で発生した電荷を蓄積する蓄積手段、前記変換手段で発生した電荷を前記蓄積手段に転送する転送手段、及び、前記蓄積手段に蓄積された電荷を出力するスイッチを備えており、
前記制御手段は、前記検出用画素において、前記転送手段が前記変換手段で発生した電荷を前記蓄積手段に転送しない状態で前記スイッチを動作させることで、前記検出用画素に前記固定パターンを検出するための動作をさせ、前記検出用画素において、前記転送手段が前記変換手段で発生した電荷を前記蓄積手段に転送した状態で前記スイッチを動作させることで、前記検出用画素に、前記画像信号を生成するための動作をさせることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像撮像用の複数の画素は、入射光を電荷に変換する変換手段、前記変換手段で発生した電荷を蓄積する蓄積手段、前記変換手段で発生した電荷を前記蓄積手段に転送する転送手段、及び、前記蓄積手段に蓄積された電荷を出力するスイッチを備えており、
前記制御手段は、前記画像撮像用の複数の画素の前記転送手段と、前記検出用画素の転送手段を、独立して制御することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記検出用画素における前記画像信号を、前記制御手段の制御信号に従って、前記検出用画素の周囲に位置する前記画像撮像用の複数の画素の信号出力から補間する画素補間処理手段を有することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
【請求項７】
前記制御手段は、前記撮像素子の温度変化に応じて、前記検出用画素を前記固定パターンを検出するための動作と、前記画像信号を生成するための動作とで切り替えることを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記固定パターン補正手段は、前記固定パターン検出手段で検出された固定パターンから、撮像領域全体の固定パターンを推測して補正値を生成することを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
【請求項９】
前記固定パターン補正手段で生成された補正値を記憶する補正値記録手段を有することを特徴とする請求項１乃至８のいずれか一項に記載の撮像装置。
【請求項１０】
前記固定パターンを検出する時間に応じて、前記固定パターン補正手段で生成された補正値と前記補正値記録手段に記録されている補正値とに基づいて、新たな補正値を生成することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記固定パターン補正手段は、前記制御手段が前記検出用画素に前記固定パターンを検出するための動作をさせる場合には、前記検出用画素に対する読み出し動作より得られる信号出力から検出された固定パターンに基づいて生成された補正値を用いて前記固定パターンを補正し、前記制御手段が前記検出用画素に前記画像信号を生成するための動作をさせる場合には、前記補正値記録手段に記録されている補正値を用いて前記固定パターンを補正することを特徴とする請求項９または１０に記載の撮像装置。
【請求項１２】
露光量に応じた画像信号を生成する光電変換素子を備えた画像撮像用の複数の画素がマトリックス状に配置された撮像領域内の各列に少なくとも１つ以上の検出用画素を設けた撮像素子を有する撮像装置の制御方法であって、
前記画像撮像用の複数の画素及び前記検出用画素に対する読み出し動作をそれぞれ独立に制御する制御工程と、
前記検出用画素に対する読み出し動作より得られる信号出力から、前記撮像素子を用いて撮像された画像中の固定パターンを検出する固定パターン検出工程と、
前記検出された固定パターンに基づいて補正値を生成し、該補正値を用いて前記固定パターンを補正する固定パターン補正工程とを備えたことを特徴とする撮像装置の制御方法。
【請求項１３】
露光量に応じた画像信号を生成する光電変換素子を備えた画像撮像用の複数の画素がマトリックス状に配置された撮像領域内の各列に少なくとも１つ以上の検出用画素を設けた撮像素子を有する撮像装置の制御装置の制御方法を実現するための、コンピュータで読み取り可能なプログラムであって、
前記画像撮像用の複数の画素及び前記検出用画素に対する読み出し動作をそれぞれ独立に制御する制御ステップと、
前記検出用画素に対する読み出し動作より得られる信号出力から、前記撮像素子を用いて撮像された画像中の固定パターンを検出する固定パターン検出ステップと、
前記検出された固定パターンに基づいて補正値を生成し、該補正値を用いて前記固定パターンを補正する固定パターン補正ステップとを備えたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用いた撮像装置及びその制御方法、並びに制御方法を実現するためのプログラムに関する。
【背景技術】
【０００２】
従来、固体撮像素子を用いた撮像では、その固体撮像素子に起因して発生する固定パターンが画像信号中に重畳することで画質劣化を起こすことが知られている。特に、ＭＯＳ型撮像素子のように各画素乃至各列で増幅器を備えた撮像素子では、固定パターンが縦すじ状に発生してしまい、視覚的に検知し易いノイズとして問題となっている。
【０００３】
そこで従来より、固定パターンを補正する技術が種々提案されている。例えば、撮像装置のレリーズがユーザより押されたら、本画像撮影動作に入る前にメカシャッタで遮光し、事前に露光していない時の固定パターンを取得する。その後に、取得した固定パターンをフレームバッファに記憶させ、本画像撮影後にバッファに記憶してある固定パターンを減算することで、固定パターンを補正する技術がある。
【０００４】
さらには、特許文献１では、画像信号１枚分のフレームバッファを用いずとも、メカシャッタで遮光した際に撮像素子から部分的に読み出し、画像信号１枚分の固定パターンを推測して生成することで、バッファを軽減する効果を持つ技術が開示されている。
【０００５】
また特許文献２では、撮像領域の周辺に遮光されたオプティカルブラック領域を形成し、該オプティカルブラック領域から出力される信号出力から撮像素子の固定パターンを検出して補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１２１５２１号公報
【特許文献２】特開２００４−０１５７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１の技術では、固定パターンを取得する時間と本画像を撮影する時間を別個に設ける必要が生じる。例えばビデオカメラのようなシステムの場合、垂直同期信号に同期して連続的に画像信号を取得しなければならず、画像信号が欠落してしまう問題がある。或いは、垂直同期期間毎に固定パターンの取得と本画像の取得を行ったとしても、本画像を取得するための画像信号の蓄積時間に制約が生じてしまう。
【０００８】
また、特許文献２の技術では、撮像領域内の画像信号上に現れる縦すじ状の固定パターンのレベルが垂直方向に変化する場合、周辺に配置されたオプティカルブラック領域からでは検出できないという問題があった。
【０００９】
本発明は上記従来の問題点に鑑み、撮像素子から得られる画像信号を欠落させずに、且つ画像信号の蓄積時間にも制約を与えずに、精度良く撮像素子の固定パターンを補正することができる撮像装置及びその制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、露光量に応じた画像信号を生成する光電変換素子を備えた画像撮像用の複数の画素がマトリックス状に配置された撮像領域内の各列に少なくとも１つ以上の検出用画素を設けた撮像素子と、前記画像撮像用の複数の画素及び前記検出用画素に対する読み出し動作をそれぞれ独立に制御する制御手段と、前記検出用画素に対する読み出し動作より得られる信号出力から、前記撮像素子を用いて撮像された画像中の固定パターンを検出する固定パターン検出手段と、前記検出された固定パターンに基づいて補正値を生成し、該補正値を用いて前記固定パターンを補正する固定パターン補正手段とを備えたことを特徴とする。
【００１１】
本発明の撮像装置の制御方法は、露光量に応じた画像信号を生成する光電変換素子を備えた画像撮像用の複数の画素がマトリックス状に配置された撮像領域内の各列に少なくとも１つ以上の検出用画素を設けた撮像素子を有する撮像装置の制御方法であって、前記画像撮像用の複数の画素及び前記検出用画素に対する読み出し動作をそれぞれ独立に制御する制御工程と、前記検出用画素に対する読み出し動作より得られる信号出力から、前記撮像素子を用いて撮像された画像中の固定パターンを検出する固定パターン検出工程と、前記検出された固定パターンに基づいて補正値を生成し、該補正値を用いて前記固定パターンを補正する固定パターン補正工程とを備えたことを特徴とする。
【００１２】
本発明のプログラムは、露光量に応じた画像信号を生成する光電変換素子を備えた画像撮像用の複数の画素がマトリックス状に配置された撮像領域内の各列に少なくとも１つ以上の検出用画素を設けた撮像素子を有する撮像装置の制御装置の制御方法を実現するための、コンピュータで読み取り可能なプログラムであって、前記画像撮像用の複数の画素及び前記検出用画素に対する読み出し動作をそれぞれ独立に制御する制御ステップと、前記検出用画素に対する読み出し動作より得られる信号出力から、前記撮像素子を用いて撮像された画像中の固定パターンを検出する固定パターン検出ステップと、前記検出された固定パターンに基づいて補正値を生成し、該補正値を用いて前記固定パターンを補正する固定パターン補正ステップとを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮像素子から得られる画像信号を欠落させずに、且つ画像信号の蓄積時間にも制約を与えずに、精度良く撮像素子の固定パターンを補正することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明の撮像装置の要部構成を示すブロック図である。
【図２】図１中の撮像素子の一部を示す回路構成図である。
【図３】ノイズ転送パルスの生成方法の一例を示す図である。
【図４】撮像素子の駆動時間と撮像素子の温度の関係の例を示すグラフである。
【図５】実施の形態における固定パターンの検出及び補正の処理手順をフローチャートである。
【図６】実施の形態における固定パターンの検出及び補正の処理手順をフローチャートである。
【図７】実施の形態における固定パターンの検出及び補正を説明するための図である。
【図８】補正係数Ｋと、固定パターンの検出動作時間ｔとの関係を示すグラフである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１６】
＜本実施の形態における撮像装置の構成＞
図１は、本発明の撮像装置の要部構成を示すブロック図である。
【００１７】
この撮像装置は、撮像素子１０１、温度センサ１０２、ＡＤ変換部１０３、制御部１０４、画素補間処理部１０５、固定パターン検出部１０６、固定パターン補正部１０７、及び補正値記憶部１０８を備えている。
【００１８】
撮像素子１０１は、光電変換素子を有し、制御部１０４が発生する制御信号を基にした駆動パルスで駆動され、被写体像を光電変換により電気信号（アナログ信号）に変換する。また、撮像素子１０１は、光電変換素子を備えた画像撮像用の複数の画素からなる撮像領域内に、各列少なくとも１つ以上の検出用画素（後述する）を配置している。
【００１９】
撮像素子１０１から出力されるアナログ信号は、ＡＤ変換部１０３においてデジタル信号に変換され、デジタル信号として出力される。
【００２０】
温度センサ１０２は、撮像素子１０１の温度を測定するためのセンサであり、撮像素子１０１の周辺或いは撮像素子１０１に直接配置される。温度センサ１０２は、サーミスタ、半導体温度センサなどから成る温度計測器で構成されており、計測された撮像素子１０１の温度を撮像素子１０１の温度情報として制御部１０４に出力する。
【００２１】
制御部１０４は、システム全体の動作の制御を行い、撮像素子１０１に対して蓄積時間などの制御信号を出力する。即ち、制御部１０４は、固定パターン検出部１０６対して、温度センサ１０２から受け取った撮像素子１０１の温度情報と、撮像素子１０１の撮像領域内で検出用画素の位置情報を出力する。また、画素補間処理部１０５対しては、撮像素子１０１の撮像領域内で検出用画素の位置情報を出力する。さらには固定パターン補正部１０７対して、固定パターンの補正値を切り替えるタイミングを情報として出力する。なお、制御部１０４は、画像撮像用の複数の画素と、検出用画素をそれぞれ独立に制御することができる。
【００２２】
画素補間処理部１０５は、ＡＤ変換部１０３から出力された画像信号に含まれている撮像領域の画像信号のうち、露光量に応じた信号レベルが得られない画素信号を周囲の画素信号から生成して置換する処理部である。即ち、画素補間処理部１０５は、画像撮像用の複数の画素のうち、検出用画素を欠陥画素とみなし、この欠陥画素を制御部１０４の制御信号に従って画像撮像用の複数の画素の信号出力から補間して、欠陥画素のない１枚の画像信号を生成する。検出用画素の位置は制御部１０４から出力される位置情報を基に判別され、画素補間された画像信号は、固定パターン補正部１０７へ出力される。
【００２３】
固定パターン検出部１０６は、ＡＤ変換部１０３から出力された画像信号に含まれている撮像領域の画像信号のうち、露光量に応じた信号レベルが得られない画素信号から固定パターンを検出する。即ち固定パターン検出部１０６は、検出用画素から得られる信号出力から画像中の固定パターンを検出する機能を有する。
【００２４】
固定パターン補正部１０７は、固定パターン検出部１０６より得られた固定パターンから補正値を生成し、画素補間処理部１０５から出力された画像信号に対し固定パターンを補正する機能を有する。即ち、固定パターン補正部は、固定パターン検出部で検出された固定パターンから、撮像領域全体の固定パターンを推測して補正値を生成する。また、固定パターン検出部１０６から出力された補正値を補正値記憶部１０８に出力する。
【００２５】
補正値記憶部１０８は、固定パターン補正部１０７から出力された補正値を記憶する機能を有する。固定パターン補正部１０７からは補正値記憶部１０８を参照できるようになっている。
【００２６】
図２は、図１中の撮像素子１０１の一部を示す回路構成図である。
【００２７】
本実施の形態における撮像素子１０１は、ＸＹアドレス型の走査方法を採る、例えばＣＭＯＳイメージセンサである。図２の例では、３行×４列のマトリックス状に配列された画素を示しているが、実際には通常、数十万〜数千万の画素が並べられている。
【００２８】
図２中の２０１は単位画素である。実際の撮像素子は単位画素２０１が所定のアスペクト比で２次元に配置される。また単位画素２０１毎にＲ（赤）、Ｇ（緑）、Ｂ（青）いずれかの色相のカラーフィルタにより覆われており、例えば、カラーフィルタがベイヤー配列に並べられる。
【００２９】
単位画素２０１は、フォト・ダイオード（以下、ＰＤと記す）２０２、転送スイッチ２０３、フローティングデフュージョン部（以下、ＦＤと記す）２０４、増幅ＭＯＳアンプ２０５、選択スイッチ２０６、及びリセットスイッチ２０７を備えている。
【００３０】
ＰＤ２０２は入射光を電荷に変換し、ＦＤ２０４はＰＤ２０２で発生した電荷を一時的に蓄積しておく蓄積領域となる。転送スイッチ２０３は、ＰＤ２０２で発生した電荷を転送パルスｐＴＸによってＦＤ２０４に転送するためのｎ−ＭＯＳトランジスタである。またリセットスイッチ２０７は、リセットパルスｐＲＥＳによってＦＤ２０４に蓄積された電荷を除去するためのｎ−ＭＯＳトランジスタである。増幅アンプ２０５はソースフォロアとして機能するｎ−ＭＯＳトランジスタである。選択スイッチ２０６は選択パルスｐＳＥＬによって画素を選択するためのｎ−ＭＯＳトランジスタである。
【００３１】
転送スイッチ２０３、リセットスイッチ２０７、選択スイッチ２０６のゲート電極は、行単位でそれぞれｐＴＸ、ｐＲＥＳ、ｐＳＥＬを供給する信号線にそれぞれに接続され、垂直走査回路２１２によって選択走査される。２０９は増幅ＭＯＳアンプ２０５の負荷となる定電流源であり、単位画素２０１と定電流源２０９は信号出力線２０８を介して列アンプ・読み出し回路２１３に列単位で接続される。ＦＤ２０４、増幅ＭＯＳアンプ２０５、及び定電流源２０９でフローティングディフュージョンアンプが構成される。選択スイッチ２０６で選択された画素のＦＤ２０４に蓄積された信号電荷が電圧に変換され、信号出力線２０８を経て、列アンプ・読み出し回路２１３に出力される。
【００３２】
２１０は列アンプ・読み出し回路２１３から出力する信号を選択する出力選択スイッチであり、水平走査回路２１４によって駆動される。２１１は列アンプ・読み出し回路２１３から出力された信号を撮像素子１０１の外部に出力する出力アンプである。
【００３３】
なお、図２に示す例では、１チャンネル読み出し構成を示しているが、複数チャンネルに分けて読み出しを高速化するように構成しても良い。例えば、２チャンネル分の読み出し回路と水平走査回路を持たせ、奇数列と偶数列を別々に読み出すような構成にしても良い。
【００３４】
２１６、２１７は単位画素２０１と同じ構成を持つ検出用画素であり、ＰＤ２０２、ＦＤ２０４、増幅ＭＯＳアンプ２０５、選択スイッチ２０６、及びリセットスイッチ２０７を備えている。但し、単位画素２０１では転送スイッチ２０３が転送パルスｐＴＸに接続されていたのに対し、検出用画素２１６、２１７では、転送スイッチ２０３の代わりに設けられた転送スイッチ２１８がノイズ転送パルスｐＴＸＮに接続されている。
【００３５】
ノイズ転送パルスｐＴＸＮは転送パルス制御回路２１５で生成され、１行分の画素が選択された際に、制御部１０４が出力する制御信号に応じて転送パルスｐＴＸと制御信号から作られる信号である。
【００３６】
図３（ａ），（ｂ）は、転送パルス制御回路２１５で生成されるノイズ転送パルスｐＴＸＮの生成方法の一例を示す図である。同図（ａ）は回路構成を示し、同図（ｂ）は転送パルスｐＴＸと制御信号ｇａｔｅからｐＴＸＮを生成したときのタイミングを示している。
【００３７】
ノイズ転送パルスｐＴＸＮの生成するための回路は、図３（ａ）に示すように、電源ＶｄｄとグランドＧＮＤ間に、ｎ−ＭＯＳトランジスタ３０１、３０２、３０３が接続されている。
【００３８】
図３（ｂ）において、時刻ｔ３０１から時刻ｔ３０３までが１行分の転送パルスを出力する期間を表している。時刻ｔ３０１で、スイッチ３０２がＯＮになり、時刻ｔ３０２で転送パルスｐＴＸが出力されると、スイッチ３０１もＯＮとなって、グランドＧＮＤ電位がスイッチ３０３に供給される。すると、スイッチ３０３がＯＦＦになり、ノイズ転送パルスｐＴＸＮは電源Ｖｄｄ電位を出力する。時刻ｔ３０３でスイッチ３０１がＯＦＦになると、スイッチ３０３はＯＮになり、ノイズ転送パルスｐＴＸＮはグランドＧＮＤ電位となる。制御信号ｇａｔｅがＯＦＦの時にはスイッチ３０２がＯＦＦとなり、スイッチ３０３はＯＮ状態で、ノイズ転送パルスｐＴＸＮはグランドＧＮＤ電位になったままになる。
【００３９】
以上のようにして、転送パルスｐＴＸと制御信号ｇａｔｅからノイズ転送パルスｐＴＸＮが生成される。これにより、検出用画素２１６，２１７のＰＤ２０２に蓄積された信号電荷を転送する／転送しないという動作の切り替えを、制御部１０４からの制御信号ｇａｔｅで制御することが可能となる。即ち、制御部１０４の制御信号ｇａｔｅに従って、検出用画素２１６，２１７において、固定パターン検出用としての機能と、画像信号取得用としての機能との切り替えを行えるようになっている。
【００４０】
つまり、制御信号ｇａｔｅをＯＦＦにした状態で、それぞれの選択スイッチ２０６をオンにして各画素の信号レベルの出力を行えば、検出用画素２１６，２１７では、ノイズ転送パルスｐＴＸＮがＯＮされない。そのため、検出用画素２１６，２１７からは、ＰＤ２０２で発生した電荷がＦＤ２０４に転送されずに信号レベルが出力されることになる。この検出用画素２１６，２１７から得られる信号レベルは、ＰＤ２０２で発生した電荷とは関係なく、ＦＤ２０４、増幅ＭＯＳアンプ２０５、及び定電流源２０９で構成されたフローティングディフュージョンアンプに含まれるノイズ成分に応じたものとなる。
【００４１】
これに対し、検出用画素２１６，２１７以外の画素では、転送パルスｐＴＸがＯＮされる。そのため、検出用画素２１６，２１７以外の画素からは、ＰＤ２０２で発生した電荷がＦＤ２０４に転送されているため、上述したノイズ成分だけでなく、このＦＤ２０４に転送された電荷に応じた信号レベルが出力されることになる。
【００４２】
反対に、制御信号ｇａｔｅをＯＮにした状態で、それぞれの選択スイッチ２０６をオンにして各画素の信号レベルの出力を行えば、転送パルスｐＴＸとノイズ転送パルスｐＴＸＮがともにＯＮされる。そのため、全ての画素から、ＦＤ２０４に転送された電荷に応じた信号レベルが出力されることになる。
【００４３】
したがって、検出用画素２１６，２１７を、撮像素子１０１の撮像領域内の各列に少なくとも１つ以上配置することで、撮像素子１０１に発生している列アンプのオフセットばらつきに起因した縦すじ状の固定パターンを検出することが可能になる。
【００４４】
＜本実施の形態における固定パターン検出・補正処理＞
次に、図４、図５及び図６を用いて、固定パターンの検出・補正方法の処理手順について説明する。
【００４５】
図４は、撮像素子１０１の駆動時間と撮像素子１０１の温度の関係の例を示すグラフである。図４中の曲線４０１は撮像素子１０１の温度が、撮像素子１０１の駆動開始から時間と共に上昇している様子を表している。
【００４６】
図５及び図６は、実施の形態における固定パターンの検出及び補正の処理手順をフローチャートである。
【００４７】
（Ａ）撮像素子の駆動開始から所定時間経過までの処理手順
まず、撮像素子１０１が駆動を開始してから所定時間が経過するまで（図４の４０２から４０３の期間（ａ））の固定パターンの検出及び補正の処理手順について、図５のフローチャートに従って説明する。
【００４８】
図５のステップＳ５０１では、ノイズ転送パルスｐＴＸＮをＯＦＦにするため、制御部１０４は制御信号ｇａｔｅをＯＦＦにする。検出用画素からは、ＰＤ２０２で発生した電荷とは関係なく、ＦＤ２０４、増幅ＭＯＳアンプ２０５、及び定電流源２０９で構成されたフローティングディフュージョンアンプに含まれるノイズ成分に応じた信号レベルが出力される。検出用画素以外の画素からは、ＦＤ２０４に転送された電荷に応じた信号レベルが出力される。そのため、撮像素子１０１から出力される画像信号は、検出用画素以外の画素においては露光量に応じた画像信号としての信号レベルが出力され、検出用画素においては露光量によらずにノイズ成分に応じた信号レベルが出力されたものとなる。次のステップＳ５０２では、撮像素子１０１から得られる画像信号に含まれる検出用画素の信号レベルから、固定パターン検出部１０６で各列に発生するノイズの固定パターンを検出する。また、検出用画素の位置における露光量に応じた画像信号としての信号レベルを、その周囲の画素の信号レベルを用いて補間する。続くステップＳ５０３では、検出した固定パターンのデータから、固定パターン補正部１０７において画像信号に発生している固定パターンを補正するための補正値を生成する。
【００４９】
次のステップＳ５０４では、画素補間処理部１０５から出力される画像信号に対し、生成した補正値で固定パターンを補正する。続くステップＳ５０５では、撮像素子１０１の駆動を開始してから所定時間が経過したかどうかの判別を行う。所定時間が経過していない場合は、ステップＳ５０２に戻り、固定パターンの検出・補正動作（ステップＳ５０２からステップＳ５０４）を繰り返す。
【００５０】
ステップＳ５０６では、所定時間が経過したと判断された場合、初期起動時の撮像素子１０１の温度Ｔｉを温度センサ１０２から取得する。次のステップＳ５０７では、初期起動時の温度Ｔｉを基準温度Ｔｂとし、以降撮像素子１０１の温度変化を測定する際の基準温度とする。続くステップＳ５０８では、生成した補正値を補正値記憶部１０８に記録する。
【００５１】
（Ｂ）所定時間経過後の処理手順
次に、撮像素子１０１が所定時間駆動した後（図４の４０３以降の期間（ｂ））の固定パターンの検出及び補正の処理手順について、図６のフローチャートに従って説明する。
【００５２】
まずステップＳ５０９では、撮像素子１０１の現在の温度Ｔｐを温度センサ１０２から取得する。次のステップＳ５１０では、撮像素子１０１の基準温度Ｔｂと現在の温度Ｔｐの差分の絶対値を算出し、撮像素子１０１の温度変化ΔＴ（図４参照）を取得する。続くステップＳ５１１では、温度変化ΔＴと予め設定した閾値Ｔｔｈとを比較し、閾値Ｔｔｈよりも温度変化ΔＴが小さいと判断された場合は、ステップＳ５２０へ進む。
【００５３】
ステップＳ５２０では、画素のノイズ転送パルスｐＴＸＮをＯＮにするため、制御部１０４は制御信号ｇａｔｅをＯＮにする。検出用画素を含む全ての画素から、ＦＤ２０４に転送された電荷に応じた画像信号としての信号レベルが出力される。次のステップＳ５２１では、補正値記憶部１０８に記憶されている補正値を取得する。続くステップＳ５２２では、撮像素子１０１から得られる画像信号に対して固定パターンの補正を行い、ステップＳ５０９へ戻る。
【００５４】
ステップＳ５１１において、閾値Ｔｔｈよりも温度変化ΔＴが大きいと判断された場合はステップＳ５１２へ進む。
【００５５】
ステップＳ５１２では、固定パターンを検出するために画素のノイズ転送パルスｐＴＸＮをＯＦＦにするため、制御部１０４は制御信号ｇａｔｅをＯＦＦにする。検出用画素からは、ＰＤ２０２で発生した電荷とは関係なく、ＦＤ２０４、増幅ＭＯＳアンプ２０５、及び定電流源２０９で構成されたフローティングディフュージョンアンプに含まれるノイズ成分に応じた信号レベルが出力される。検出用画素以外の画素からは、ＦＤ２０４に転送された電荷に応じた信号レベルが出力される。次のステップＳ５１３では、撮像素子１０１から得られる画像信号に含まれる検出用画素の信号レベルから、固定パターン検出部１０６で各列に発生するノイズの固定パターンを検出する。また、検出用画素の位置における露光量に応じた画像信号としての信号レベルを、その周囲の画素の信号レベルを用いて補間する。続くステップＳ５１４では、検出した固定パターンのデータから、固定パターン補正部１０７において画像信号に発生している固定パターンを補正するための補正値を生成する。
【００５６】
ステップＳ５１５では、画素補間処理部１０５から出力される画像信号に対し、生成した補正値で固定パターンを補正する。そして次のステップＳ５１６では、撮像素子１０１の温度変化ΔＴが閾値Ｔｔｈを超えたことによる固定パターンの検出の開始（ステップＳ５１３、図４の４０４）から、所定時間が経過したかどうかの判別を行う。所定時間が経過していない場合は、ステップＳ５１３に戻り、固定パターンの検出・補正動作（ステップＳ５１３からステップＳ５１５）を繰り返す。
【００５７】
次のステップＳ５１７では、所定時間が経過したと判断された場合、現在の撮像素子１０１の温度Ｔｐを温度センサ１０２から取得する。そしてステップＳ５１８では、現在の撮像素子１０１の温度Ｔｐを基準温度Ｔｂとし、撮像素子１０１の温度変化を測定する際の基準温度を更新する。またステップＳ５１９では、ステップＳ５１４で生成した補正値を補正値記憶部１０８に記録する。
【００５８】
上記フローに記載したように、撮像素子１０１の温度変化に応じて制御部１０４が制御信号ｇａｔｅをＯＮ／ＯＦＦすることで、固定パターン検出用と画像信号取得用に検出用画素を切り替えることが実現可能となり、固定パターンの検出を制御することができる。
【００５９】
（Ｃ）固定パターン検出部１０６及び固定パターン補正部１０７の動作
次に、前述した固定パターン検出及び補正の処理手順における、固定パターン検出部１０６の動作、及び固定パターン補正部１０７による固定パターンの補正動作について図７（ａ），（ｂ）を参照して説明する。図７（ａ），（ｂ）は、本実施の形態における固定パターンの検出及び補正を説明するための図である。
【００６０】
撮像素子１０１は図２に示したように、撮像領域内の任意の位置に、画像信号の読み出しとノイズの読み出しを、制御信号ｇａｔｅで切り替え可能な構造を形成している。画像信号上に現れる固定パターンには画素毎に現れるものと、撮像素子１０１に形成されている列アンプのオフセットばらつきによる縦すじ状のものが上げられるが、特に縦すじ状のものに関しては視覚上ノイズとして認識し易い性質を持ちうる。従って、該検出用画素を各列に少なくとも１つずつ配置することにより、各列に発生している固定パターンを検出することが可能となり、各列のオフセットばらつきを補正することができる。図７（ａ）は、撮像素子１０１上に配置された検出用画素の様子を示している。
【００６１】
図７（ａ）中の６０１は撮像領域中の任意の１列を示しており、列６０１に形成されている画素のうち、複数の画素６０２〜６０４を検出用画素として配置している。また、固定パターンが各列ごとに均一なオフセットを持つ場合だけではなく、列方向（垂直方向）に変化する場合には、検出用画素を各列の先頭ラインから最終ラインまで等間隔又はそれに準ずる並びで配置する。これにより、垂直方向の固定パターンの変化も検出が可能となる。
【００６２】
図７（ｂ）は、図７（ａ）の列６０１を抜粋したもので、図７（ｂ）中の６０２Ａ〜６０４Ａが検出用画素６０２〜６０４から検出した固定パターンの値である。固定パターン検出部１０６は、制御部１０４から検出用画素のアドレスを取得し、該当するアドレスの信号レベルを固定パターンと認識して検出動作を行う。
【００６３】
固定パターン補正部１０７では、前述のようにして検出した信号レベルから、撮像領域内の画素全ての補正値を生成する。ここで、図７（ｂ）から明らかなように、固定パターン検出部１０６で得られた固定パターン６０２Ａ〜６０４Ａは、検出用画素６０２〜６０４を配置した間隔で、列方向に離散的に存在する。このような場合、発生している固定パターンの種類によって、以下の２つの代表的な補正値の生成方法（パターン１、パターン２）が考えられる。
【００６４】
パターン１：
１つは、該列に均一なオフセットとして固定パターンが発生している場合である。この場合、各列に１つの補正値を生成することで、固定パターンの補正が可能となる。従って、各列に配置された検出用画素から得られた信号レベルの加算平均の結果を該列の各画素の固定パターン補正値とする。或いは、連続して撮像されるビデオカメラのようなシステムの場合、時間方向にも加算平均することで、さらに補正値の精度が向上する。
【００６５】
パターン２：
２つ目の方法は、該列の垂直方向に固定パターンが変化する場合である。この場合、図７（ｂ）に示すように該列の撮像領域内の画素に対し、得られた固定パターン６０２Ａ、６０３Ａ、６０４Ａの値から補正値を生成する必要がある。そのため、例えば、固定パターン６０２Ａと６０３Ａの信号レベルからその間の固定パターンの値を線形補間で算出したり、２つ以上の固定パターンから曲線近似で算出することで補正値を生成する。
【００６６】
以上、２つの代表的な補正値の生成方法について述べたが、撮像素子１０１の特性に応じて上記２つの補正値生成方法を切り替えて固定パターン補正値を生成するようにしても構わない。
【００６７】
（Ｄ）生成した補正値で画像信号を補正する方法
生成した補正値で画像信号を補正する方法については、次の通りである。即ち、上記２つのパターンのいずれにおいても撮像素子１０１の撮像領域内の各画素に対して固定パターンの補正値が生成されている。その結果、画像信号に対し補正値を減算することで列ごとのオフセットばらつきを排除することができる。
【００６８】
（Ｅ）画素補間処理部１０５の動作
次に画素補間処理部１０５の動作について説明する。
撮像素子１０１から出力された画像信号は、ＡＤ変換部１０３でデジタル信号に変換されて、固定パターン検出部１０６と画素補間処理部１０５へ出力される。
【００６９】
固定パターンを検出する場合、制御部１０４から、撮像素子１０１に配置された固定パターン検出用の検出用画素のアドレスを位置情報として固定パターン検出部１０６及び画素補間処理部１０５へ出力する。固定パターン検出部１０６において該アドレスから固定パターンを検出する方法については前述した通りである。なお、固定パターン検出時には該検出用画素は欠陥画素となるため、同時に、画素補間処理部１０５において該アドレスを基に欠陥画素に画像情報を補間して埋め合わせるような処理が行われる。欠陥画素に対する画像情報の補間については、いわゆるキズ補正のような周囲の画素信号からメディアンフィルタを施して該欠陥画素を置き換えるなどの方法が一般的である。
【００７０】
本実施の形態では、撮像素子１０１の列ごとのオフセットばらつきを補正するものであるから、特に上下の同色隣接画素の加算平均などで置き換えるのが望ましい。或いは、上下左右の同色隣接画素のうち、列方向の画素についての重み付けを大きくして加算平均し、該欠陥画素と置き換えることで、画像情報の精度を高める方法などが考えられる。
【００７１】
上記画素補間処理部１０５の処理は、前述したように固定パターン検出と同時に行うように構成されている。つまり、固定パターンの検出と並列して動作するように制御部１０４が制御している（図５のステップＳ５０２、及び図６のステップＳ５１３を参照）。
【００７２】
以上、固定パターンの検出及び補正についてこれまで述べてきたが、図５及び図６に示した一連の処理の中で、固定パターンの補正値が切り替わるタイミングが存在する。図４に示したように、撮像素子１０１の温度変化ΔＴが閾値Ｔｔｈを超えたときに、補正値記憶部１０８を参照していた補正値から新たに検出した固定パターンから算出した補正値に切り替わる（図４の４０４、４０５）。そのため、ビデオカメラなどの連続した撮影を行うシステムでは、補正の切り変わり目が目立ってしまう問題がある。そこで、補正値記憶部１０８に記憶されている補正値と、固定パターン検出部１０６で取得した信号レベルから生成した補正値から新たな補正値を生成することで、補正の切り変わりを緩和させる。図８は、補正値の切り替わりを緩和させるための補正係数Ｋと、固定パターンの検出動作時間ｔとの関係を示すグラフである。
【００７３】
ビデオカメラなどのシステムでは、補正係数Ｋは離散的なテーブルで予め保持するか、時定数を持つ式などで離散的に算出できるのが望ましく、本実施の形態では、図８に示すように、補正係数Ｋは、検出動作の時間ｔｎに対応して離散的な値Ｋｎを持つものとする。制御部１０４から補正値の切り替えを行う制御信号が出力されたとき、補正値Ｃ（ｘ，ｙ）は次の式（１）から新たに生成される。補正値記憶部１０８に記録されている補正値をＳ（ｘ，ｙ）、新たに固定パターン補正部１０７で生成された補正値をＮ（ｘ，ｙ）とする。
【００７４】
Ｃ（ｘ，ｙ）＝Ｋｎ×Ｓ（ｘ，ｙ）＋（１−Ｋｎ）×Ｎ（ｘ，ｙ）・・・（１）
但し、ｘ，ｙは、撮像素子１０１の水平（ｘ）と垂直（ｙ）のアドレス
即ち、固定パターンの検出動作の時間経過に従い、保持してある補正値と新たに検出した補正値の加算平均比率を徐々に新たに検出した補正値へとシフトさせることで、補正の切り変わり目を緩和させるように動作する。
【００７５】
＜本実施の形態に係る利点＞
以上説明したように、固定パターンを検出するときであっても、撮像素子から露光量に応じた画像信号を生成することが可能となる。そのため、撮像素子に二次元方向の固定パターンが発生した場合でも、撮像素子からの露光量に応じた画像信号の読み出しを間欠的にすることなく、良好な固定パターンの補正動作が可能となる。
【００７６】
＜他の実施の形態＞
本実施の形態では、撮像素子１０１が駆動を開始してから一定時間（図４の（ａ））のうちに固定パターンを検出して補正する場合について説明した。その他に、初期状態として、例えば工場出荷時に基準温度Ｔｂと補正値を補正値記録部１０８に記憶させておき、図５（ａ）のフローを簡略することも可能である。
【００７７】
また、本実施の形態では、検出用画素について、制御部１０４からの制御信号ｇａｔｅにより転送ゲートのＯＮ／ＯＦＦを切り替えて信号電荷を読み出す／読み出さないという制御を行うように構成した。このような構成に限定されず、例えば検出用画素を予め光電変換素子を持たない画素で構成しても構わないし、また、検出用画素を予め遮光してある画素で構成しても構わない。これらの場合、通常画素との切り替えは不可能であるが、画像信号の取得と固定パターンの取得を同時に行えること、且つ、固定パターンが垂直方向に変化する場合でも精度良く固定パターンの補正が行えること等の効果は同等に得られる。
【００７８】
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００７９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８０】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしても良い。
【００８１】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８２】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【００８３】
１０１  撮像素子
１０２  温度センサ
１０４  制御部
１０５  画素補間処理部
１０６  固定パターン検出部
１０７  固定パターン補正部
１０８  補正値記憶部
【図１】
2011024096.tif 000003
【図２】
2011024096.tif 000004
【図３】
2011024096.tif 000005
【図４】
2011024096.tif 000006
【図５】
2011024096.tif 000007
【図６】
2011024096.tif 000008
【図７】
2011024096.tif 000009
【図８】
2011024096.tif 000010