(57)【要約】【課題】撮像素子の大型化や撮影時間の大幅な増加を招くことなく、固定パターンノイズを比較的高精度に除去することができる固体撮像素子のノイズ除去装置等を提供する。【解決手段】ＯＢ画素領域と有効画素領域とを有する画素部１２と、ＯＢ画素領域に関しては画素信号を列方向に巡回加算平均して行毎に第１補正データを算出するとともに算出した第１補正データを用いて行毎に画素信号を補正し、有効画素領域に関してはＯＢ画素領域処理後に最終的に得られた第１補正データを用いて各行の画素信号を補正する第１補正データ演算部・第１補正処理部１４と、第１補正処理後のＯＢ画素領域に関して画素信号を列方向に加算平均して第２補正データを算出し、第１補正処理後の有効画素領域を第２補正データに基づいて補正する第２補正データ演算部・第２補正処理部１５と、を備えた固体撮像素子のノイズ除去装置。【選択図】図２
2009302850.tif 000002
【特許請求の範囲】
【請求項１】
行方向および列方向に複数の画素が配列された画素部を有する固体撮像素子と、
上記画素部における光が入射していない第１の所定領域に含まれる複数行の画素について、列方向の画素信号の加算平均値である第１補正データを、該画素部の各列に関して演算する第１補正データ演算部と、
任意の画素の画素信号を、該任意の画素が属する列に対応する上記第１補正データに基づいて補正する第１補正処理部と、
上記第１補正処理部により補正された上記画素部における光が入射していない第２の所定領域に含まれる複数行の画素について、列方向の画素信号の加算平均値である第２補正データを、該画素部の各列に関して演算する第２補正データ演算部と、
上記第１補正処理部により補正された任意の画素の画素信号を、該任意の画素が属する列に対応する上記第２補正データに基づいて補正する第２補正処理部と、
を具備したことを特徴とする固体撮像素子のノイズ除去装置。
【請求項２】
上記画素部は、被写体光が入射されないオプティカルブラック画素領域と、被写体光が入射され得る有効画素領域と、を有し、上記固体撮像素子は、オプティカルブラック画素領域の画素信号を有効画素領域の画素信号よりも先に読み出すように駆動されるものであり、
上記第１の所定領域と上記第２の所定領域とは、何れも上記オプティカルブラック画素領域であることを特徴とする請求項１に記載の固体撮像素子のノイズ除去装置。
【請求項３】
上記第１補正データ演算部、上記第１補正処理部、上記第２補正データ演算部、および上記第２補正処理部により処理される画素信号は、上記画素部による露光が行われた後に上記固体撮像素子から１回の読み出しにより得られた画素信号であることを特徴とする請求項２に記載の固体撮像素子のノイズ除去装置。
【請求項４】
上記第１補正データ演算部は、上記オプティカルブラック画素領域に関して、上記第１補正データを巡回加算により行毎に演算するものであり、
上記第１補正処理部は、上記オプティカルブラック画素領域に関しては、上記任意の画素の画素信号を、該任意の画素が属する列に対応して上記第１補正データ演算部により行毎に巡回的に演算される上記第１補正データに基づいて補正し、上記有効画素領域に関しては、該任意の画素の画素信号を、上記第１補正データ演算部により上記オプティカルブラック画素領域に対して処理を行った結果最終的に得られた上記第１補正データに基づいて補正するものであることを特徴とする請求項３に記載の固体撮像素子のノイズ除去装置。
【請求項５】
上記画素部は、被写体光が入射されないオプティカルブラック画素領域と、被写体光が入射され得る有効画素領域と、を有し、上記固体撮像素子は、オプティカルブラック画素領域の画素信号を有効画素領域の画素信号よりも先に読み出すように駆動されるものであって、上記画素部による露光が行われる前の遮光状態における第１の読み出しと、該画素部による露光が行われた後の第２の読み出しと、を行うように駆動され、
上記第１の所定領域は上記オプティカルブラック画素領域および遮光状態にされた上記有効画素領域の一部の領域であり、上記第２の所定領域は上記オプティカルブラック画素領域であって、
上記第１補正データ演算部は、上記第１の読み出しにより得られた画素信号に基づいて上記第１補正データを演算するものであり、
上記第１補正処理部は、上記第２の読み出しにより得られた任意の画素の画素信号を、該任意の画素が属する列に対応する上記第１補正データに基づいて補正するものであることを特徴とする請求項１に記載の固体撮像素子のノイズ除去装置。
【請求項６】
上記第１補正データ演算部および上記第１補正処理部は上記固体撮像素子の内部に設けられたものであり、
上記第２補正データ演算部および上記第２補正処理部は上記固体撮像素子の外部に設けられたものであることを特徴とする請求項１に記載の固体撮像素子のノイズ除去装置。
【請求項７】
上記固体撮像素子から得られる画素信号の増幅度に係る感度を設定するための感度設定部と、
上記感度設定部により設定されている感度が所定感度以上である場合にのみ、上記第２補正データ演算部および上記第２補正処理部の処理を行わせるように制御する制御部と、
をさらに具備したことを特徴とする請求項１に記載の固体撮像素子のノイズ除去装置。
【請求項８】
請求項１に記載の固体撮像素子のノイズ除去装置を具備したことを特徴とする撮像装置。
【請求項９】
行方向および列方向に複数の画素が配列された画素部を有する固体撮像素子の該画素部における光が入射していない第１の所定領域に含まれる複数行の画素について、列方向の画素信号の加算平均値である第１補正データを、該画素部の各列に関して演算する第１補正データ演算ステップと、
任意の画素の画素信号を、該任意の画素が属する列に対応する上記第１補正データに基づいて補正する第１補正処理ステップと、
上記第１補正処理ステップにより補正された上記画素部における光が入射していない第２の所定領域に含まれる複数行の画素について、列方向の画素信号の加算平均値である第２補正データを、該画素部の各列に関して演算する第２補正データ演算ステップと、
上記第１補正処理ステップにより補正された任意の画素の画素信号を、該任意の画素が属する列に対応する上記第２補正データに基づいて補正する第２補正処理ステップと、
を有することを特徴とする固体撮像素子のノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行方向および列方向に複数の画素が配列された固体撮像素子のノイズ除去装置、撮像装置、固体撮像素子のノイズ除去方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等に用いられる固体撮像素子、特にＭＯＳ型の固体撮像素子には、縦方向の縞模様をなす固定パターンノイズが発生することがある。この固定パターンノイズは、画素に構成されているトランジスタの特性ばらつきや、あるいは各列の読み出し回路の特性ばらつきなどに起因して発生するものである。
【０００３】
この固定パターンノイズは、より具体的には、撮像素子の各行において、水平方向の同一位置に同一レベルのノイズとして現れ、画像全体を見たときには縦方向の縞模様となる。
【０００４】
このような固定パターンノイズを補正する技術は、従来より種々のものが提案されているが、処理としては主に２つの段階に分けられる。すなわち、固定パターンノイズの検出処理と、検出した固定パターンノイズの除去処理と、である。
【０００５】
まず、第１の段階である固定パターンノイズの検出に関しては、撮像素子の遮光部分であるＯＢ（オプティカルブラック）領域からの読出信号を使用するか、または撮像素子をメカニカルシャッタ等を用いて一時的に遮光し、この遮光状態における有効画素領域からの読出信号を使用する。ただし、撮像素子からの読出信号には一般にランダムノイズが含まれているために、このランダムノイズを除去した固定パターンノイズを検出しないと、ランダムノイズに起因する望ましくないパターンが発生してしまう可能性がある。そこで、サンプル数がＮならばランダムノイズ量が１／√Ｎとなることを利用して、複数行分の読出信号を使用しラインダムノイズの低減を図る。すなわち、同一列に属する複数画素の加算平均を算出することを、撮像素子の所定の列に対して行うことにより、固定パターンノイズ以外のランダムノイズ成分を低減した固定パターンノイズを抽出する。
【０００６】
次に、第２の段階である固定パターンノイズの除去に関しては、上述したように検出した固定パターンノイズを補正データとして記録しておき、撮影画像データからこの補正データを減算する等の処理が行われる。
【０００７】
このような固定パターンノイズ補正に関しては、例えば特開平１０−３１３４２８号公報に提案された技術が一例として挙げられる。該公報に記載の技術は、固定パターンノイズ補正データを生成するに際して、固定パターンノイズ以外のランダムノイズを除去するために、ＯＢ画素領域または遮光した有効画素領域で多数行の読出データを必要とするものとなっている。この技術を、ＯＢ画素領域からの読出データのみに基づいて実現しようとすると、ＯＢ画素領域として使用するライン数を増やさなければならない。しかし、ＯＢ画素領域を増やすことは、有効画素領域以外の読み出し領域を増やすことになるために、チップサイズの増大（ひいては、撮像素子の高コスト化）を招いたり、撮像フレームレートの低下を招いたりすることになってしまう。
【０００８】
また、特開２００４−２０８２４０号公報には、上述したような特開平１０−３１３４２８号公報の課題を解決するための提案がなされている。該公報に記載の技術は、ＯＢ画素領域の行数を増やす代わりに（つまり、１フレーム単位で得られるＯＢ画素領域からの読出データは従来の固体撮像素子と同様の行数のままである）、複数フレーム分のＯＢ画素領域の画素を累積加算することにより多数行分に相当するＯＢ画素領域の読出データを取得して、この読出データに基づき固定パターンノイズ補正データを生成するものとなっている。
【特許文献１】特開平１０−３１３４２８号公報
【特許文献２】特開２００４−２０８２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特開２００４−２０８２４０号公報に記載の技術では、固定パターンノイズ補正データを生成するに際して複数フレームの撮影を行う必要があるために、１フレームの撮影しか行わない静止画撮影などの場合には、高精度の固定パターンノイズ除去を行うことができない。
【００１０】
このように、従来の技術では、固定パターンノイズを高精度に除去しようとすると、撮像素子の大型化を招いたり、撮影に要する時間の大幅な増大を招いたりしていた。
【００１１】
本発明は上記事情に鑑みてなされたものであり、撮像素子の大型化や撮影時間の大幅な増加を招くことなく、固定パターンノイズを比較的高精度に除去することができる固体撮像素子のノイズ除去装置、撮像装置、固体撮像素子のノイズ除去方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明の第１の態様による固体撮像素子のノイズ除去装置は、行方向および列方向に複数の画素が配列された画素部を有する固体撮像素子と、上記画素部における光が入射していない第１の所定領域に含まれる複数行の画素について列方向の画素信号の加算平均値である第１補正データを該画素部の各列に関して演算する第１補正データ演算部と、任意の画素の画素信号を該任意の画素が属する列に対応する上記第１補正データに基づいて補正する第１補正処理部と、上記第１補正処理部により補正された上記画素部における光が入射していない第２の所定領域に含まれる複数行の画素について列方向の画素信号の加算平均値である第２補正データを該画素部の各列に関して演算する第２補正データ演算部と、上記第１補正処理部により補正された任意の画素の画素信号を該任意の画素が属する列に対応する上記第２補正データに基づいて補正する第２補正処理部と、を具備したものである。
【００１３】
また、本発明の第２の態様による撮像装置は、上記第１の態様による固体撮像素子のノイズ除去装置を具備したものである。
【００１４】
さらに、本発明の第３の態様による固体撮像素子のノイズ除去方法は、行方向および列方向に複数の画素が配列された画素部を有する固体撮像素子の該画素部における光が入射していない第１の所定領域に含まれる複数行の画素について列方向の画素信号の加算平均値である第１補正データを該画素部の各列に関して演算する第１補正データ演算ステップと、任意の画素の画素信号を該任意の画素が属する列に対応する上記第１補正データに基づいて補正する第１補正処理ステップと、上記第１補正処理ステップにより補正された上記画素部における光が入射していない第２の所定領域に含まれる複数行の画素について列方向の画素信号の加算平均値である第２補正データを該画素部の各列に関して演算する第２補正データ演算ステップと、上記第１補正処理ステップにより補正された任意の画素の画素信号を該任意の画素が属する列に対応する上記第２補正データに基づいて補正する第２補正処理ステップと、を有する方法である。
【発明の効果】
【００１５】
本発明の固体撮像素子のノイズ除去装置、撮像装置、固体撮像素子のノイズ除去方法によれば、撮像素子の大型化や撮影時間の大幅な増加を招くことなく、固定パターンノイズを比較的高精度に除去することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。
【００１７】
［実施形態１］
図１から図１９は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１８】
本実施形態は、固体撮像素子のノイズ除去装置を撮像装置に適用した実施形態となっている。
【００１９】
この撮像装置は、レンズ１と、撮像部２と、画像処理部３と、表示部４と、カメラ操作部５と、カメラ制御部７と、を備えている。なお、メモリカード９は、この撮像装置に対して着脱可能に構成されているために、この撮像装置固有の構成でなくても構わない。
【００２０】
レンズ１は、被写体の光学像を撮像部２の画素部１２（図２〜図４等参照）に結像するためのものである。
【００２１】
撮像部２は、上述した画素部１２を備える固体撮像素子を含み、レンズ１により結像された被写体の光学像を光電変換して出力するものである。
【００２２】
画像処理部３は、撮像部２からデジタル化されて出力される画像信号（図２，図４参照）、または撮像部２から出力された後にデジタル化された画像信号（図３参照）に、種々のデジタル的な画像処理（この画像処理は、例えば記録再生用の圧縮伸長処理等も含む）を行うものである。
【００２３】
表示部４は、画像処理部３により表示用に画像処理された信号に基づき画像を表示するものである。
【００２４】
メモリカード９は、画像処理部３により記録用に画像処理された信号を保存するための記録媒体である。
【００２５】
カメラ操作部５は、この撮像装置に対する各種の操作入力を行うためのものである。このカメラ操作部５は、撮像装置の感度を入力するための感度入力部６を備えて構成されている。
【００２６】
カメラ制御部７は、カメラ操作部５からの操作入力に基づいて、撮像部２、画像処理部３、メモリカード９等を含むこの撮像装置全体を制御する制御部である。このカメラ制御部７は、例えば撮像部２から得られた画像信号に基づいて算出した被写体の輝度値（あるいは、図示しない測光装置により測定した被写体の輝度値）に基づく自動制御により、または上述した感度入力部６からの手動設定入力により、撮像装置の感度を設定する感度設定部８を備えている。ここに、撮像装置の感度とは、撮像部２におけるアナログ信号の増幅（ゲイン）、あるいは画像処理部３におけるデジタル的な信号増幅などが具体例として挙げられる。
【００２７】
次に、図２から図４を参照して、撮像部２と画像処理部３とにおける機能の振り分けの幾つかの例について説明する。
【００２８】
まず、図２は、補正データ演算および補正処理の一部を撮像部２に、他の一部を画像処理部３に、それぞれ担わせるようにした構成例を示すブロック図である。
【００２９】
撮像部２は、ＴＧ部１１と、画素部１２と、増幅部・ＣＤＳ部・Ａ／Ｄ変換部１３と、第１補正データ演算部・第１補正処理部１４（なお、以下において、簡単のために第１補正部１４などと適宜記載する）と、を備えている。
【００３０】
ここに、ＴＧ部１１は、撮像部２内の各部の動作の同期をとるためのタイミング信号を発生するタイミングジェネレータである。
【００３１】
画素部１２は、複数の画素を行方向および列方向の２次元状に配列して構成されており、上述したレンズ１により結像された被写体光学像を光電変換して、電気的な撮像信号を生成するものである。なお、この撮像装置がカラー画像を取得するためのものであって、いわゆる単板構成である場合には、画素部１２のレンズ１側に、例えばベイヤー配列のカラーフィルタが配設されている。
【００３２】
増幅部・ＣＤＳ部・Ａ／Ｄ変換部１３は、画素部１２から得られた撮像信号をアナログ的に増幅する増幅部、アナログ信号に相関二重サンプリングを行うＣＤＳ部、アナログの撮像信号をデジタルの画像信号に変換するＡ／Ｄ変換部、を含んでいる。
【００３３】
第１補正部１４は、増幅部・ＣＤＳ部・Ａ／Ｄ変換部１３から出力されるデジタルの画像信号に、後述するような第１段階目の固定パターンノイズ除去の処理を行うものである。
【００３４】
次に、画像処理部３は、第２補正データ演算部・第２補正処理部１５（なお、以下において、簡単のために第２補正部１５などと適宜記載する）と、デモザイキング部１６と、ホワイトバランス・γ補正部１７と、圧縮／伸張部１８と、を備えている。
【００３５】
第２補正部１５は、上記第１補正部１４から出力される固定パターンノイズがある程度除去されたデジタルの画像信号に、後述するような第２段階目の固定パターンノイズ除去の処理を行うことにより、より高精度に固定パターンノイズが除去されたデジタルの画像信号を生成するものである。
【００３６】
デモザイキング部１６は、第２補正部１５から出力されるデジタルの画像信号（単板状態の画像信号）から、いわゆる三板状態の画像信号を生成するものである。
【００３７】
ホワイトバランス・γ補正部１７は、デモザイキング部１６から出力される画像信号に、ホワイトバランス処理、およびγ補正処理を行うものである。
【００３８】
圧縮／伸張部１８は、ホワイトバランス・γ補正部１７から出力される画像信号に圧縮処理を行うものである。また、この圧縮／伸張部１８は、メモリカード９から読み出された圧縮状態の画像信号を伸張する処理も行うようになっている。
【００３９】
次に、図３は、補正データ演算および補正処理を画像処理部３に担わせるようにした構成例を示すブロック図である。
【００４０】
この図３に示す構成においては、撮像部２は、ＴＧ部１１と、画素部１２と、増幅部・ＣＤＳ部１３ａと、を備えている。
【００４１】
そして、撮像部２の増幅部・ＣＤＳ部１３ａから出力されるアナログの撮像信号は、この撮像部２の外部に設けられたＡ／Ｄ変換部１３ｂによりデジタルの画像信号に変換されるようになっている。
【００４２】
さらに、画像処理部３には、図２に示した構成に加えて、さらに第１補正部１４が設けられていて、Ａ／Ｄ変換部１３ｂからのデジタルの画像信号は、この第１補正部１４に入力されるようになっている。
【００４３】
そして、この第１補正部１４により処理された画像信号が、次に、第２補正部１５により処理されるのは、上述と同様である。
【００４４】
続いて、図４は、補正データ演算および補正処理を撮像部２に担わせるようにした構成例を示すブロック図である。
【００４５】
この図４に示す構成においては、撮像部２は、ＴＧ部１１と、画素部１２と、増幅部・ＣＤＳ部・Ａ／Ｄ変換部１３と、第１補正部１４と、第２補正部１５と、を備えている。一方、画像処理部３は、図２に示した構成から、第２補正部１５を削除した構成となっている。
【００４６】
上述した図２〜図４に示した構成の何れを採用しても構わないが、固定パターンノイズの除去を行う構成は、従来より、画像処理部側のみで行うものと、撮像部側のみで行うものと、が知られているために、図２に示したような構成は、これら両者を組み合わせることにより特別な新規の設計等を要することなく達成し得るという点で、利点を有している。また、図３に示した構成は、撮像部２を小型化することができるという点、さらに撮像部２にデジタル的な処理回路を組み込まなくて済むという点で、利点を有している。そして、図４に示した構成は、固体撮像素子に電子回路を組み込むことが可能になりつつある技術動向に即しているという点で、利点を有している。
【００４７】
次に、図５は、画素部１２の構成および読み出し順序を示す図である。
【００４８】
画素部１２は、ＯＢ（オプティカルブラック）画素領域１２ｏｂと、有効画素領域１２ｅｆと、を備えて構成されている。この画素部１２における画素データの読み出しは、ハッチングを付した部分に示すような水平１行データ１２ＬＤ毎に行われ、矢印ＡＲ１に示すような順序で読み出される。すなわち、画素データの読み出しは、水平１行を単位として、まずＯＢ画素領域１２ｏｂに対して行われ、その後に有効画素領域１２ｅｆに対して行われるようになっている。
【００４９】
続いて、図６は、ＯＢ画素領域１２ｏｂの画素構成を示す図である。
【００５０】
ここに、画素部１２は、水平方向の画素数がｍであるものとし、ＯＢ画素領域１２ｏｂはｋライン分（このＯＢ画素領域１２ｏｂのライン数は、上述した特開平１０−３１３４２８号公報を参照して説明した多数行の例とは異なり、通常の固体撮像素子に設けられている程度のライン数となっている）設けられているものとする。このときには、ＯＢ画素領域１２ｏｂに配列されている画素は、図示のように、Ｐ（１，１）〜Ｐ（ｍ，ｋ）となる。なお、画素Ｐ（ｉ，ｊ）（ここに、ｉ，ｊは整数）の画素データを、同様の記号を用いてＰ（ｉ，ｊ）により表すことにする（なお、この表記は、有効画素領域１２ｅｆの画素ついても用いることにする）。
【００５１】
本実施形態においては、この図６に示すようなＯＢ画素領域１２ｏｂの読出データのみを用いて、固定パターンノイズを除去する際に用いる補正データを算出するようになっている。
【００５２】
次に、図７は、第１補正データ演算部・第１補正処理部１４および第２補正データ演算部・第２補正処理部１５の構成を示す図である。
【００５３】
本実施形態においては、第１補正部１４の構成と第２補正部１５の構成とは基本的に同一であるために、この図７を参照してこれらの構成をまとめて説明する。
【００５４】
第１，第２補正部１４，１５は、スイッチ２１と、加算部２２と、演算部２３と、遅延部２４と、初期値付与部２５と、固定パターンノイズ補正データ記録部２６と、減算部２７と、を備えて構成されている。
【００５５】
入力データは、スイッチ２１と減算部２７とへ接続されている。スイッチ２１は、加算部２２へ接続されている。加算部２２は、演算部２３へ接続されている。演算部２３は、遅延部２４および固定パターンノイズ補正データ記録部２６へ接続されている。また、初期値付与部２５も遅延部２４へ接続されている。遅延部２４は、加算部２２へ接続されている。固定パターンノイズ補正データ記録部２６は、減算部２７へ接続されている。そして、減算部２７から出力データが出力されるようになっている。
【００５６】
スイッチ２１は、入力データがＯＢ画素領域１２ｏｂの読出データである場合にはオンし、有効画素領域１２ｅｆの読出データである場合にはオフするスイッチである。
【００５７】
加算部２２は、入力データと、遅延部２４により例えば１ライン分遅延されたデータとを加算するものである。
【００５８】
演算部２３は、加算部２２から出力されるデータを、本実施形態においては例えば２で割るものである。
【００５９】
遅延部２４は、演算部２３から出力されるデータを、本実施形態においては例えば１ライン分の読み出し時間だけ遅延するものであり、例えばラインバッファを含んで構成されている。
【００６０】
初期値付与部２５は、入力データがＯＢ画素領域１２ｏｂの１ライン目の読出データである場合に、遅延部２４から出力するデータ（初期値）を予め与えるものである。
【００６１】
固定パターンノイズ補正データ記録部２６は、１ライン分のラインバッファとして構成されていて、演算部２３から次のラインのデータが出力されると、既に記憶しているラインデータに上書きして保存するものとなっている。そして、ＯＢ画素領域１２ｏｂの読出データが終了して、スイッチ２１がオフすることにより演算部２３から次のラインのデータが出力されなくなると、ＯＢ画素領域１２ｏｂにおける最終ラインの処理を行った結果記憶しているラインデータをそのまま記憶し続けるようになっている。
【００６２】
減算部２７は、入力データから、固定パターンノイズ補正データ記録部２６に記憶されている固定パターンノイズ補正データ（以下では、第１補正部１４に係る固定パターンノイズ補正データを第１補正データ、第２補正部１５に係る固定パターンノイズ補正データを第２補正データなどという）を減算して、固定パターンノイズが低減された出力データを出力するものである。
【００６３】
図８は、第１補正データ演算部・第１補正処理部１４の要部における処理の様子を説明するための図である。上述した図７とこの図８を参照して、第１補正部１４における処理について説明する。
【００６４】
画素Ｐ（ｉ，ｊ）に対して、第１補正部１４において適用される第１補正データをＣ１（ｉ，ｊ）とする。すると、第１補正部１４において算出される第１補正データは、図６に示したようなＯＢ画素領域１２ｏｂの画素配列Ｐ（１，１）〜Ｐ（ｍ，ｋ）に対応して、Ｃ１（１，１）〜Ｃ１（ｍ，ｋ）となる。そして、有効画素領域１２ｅｆからの各ラインの読み出し画素に対しては、ＯＢ画素領域１２ｏｂに関する処理を行った後に最終的に得られる第１補正データＣ１（１，ｋ）〜Ｃ１（ｍ，ｋ）が適用されることになる。
【００６５】
このとき、第１補正データＣ１（ｉ，ｊ）の算出は、次のような巡回加算平均によって行われるようになっている。
【００６６】
まず、処理を開始する前に、初期値付与部２５が、遅延部２４に対して、１ライン分の第１補正データの初期値Ｃ１（ｉ，０）（ここに、ｉ＝１，…，ｍ）を与えておく。
【００６７】
そして、１ライン目の画素データＰ（ｉ，１）が入力されると、加算部２２が遅延部２４からの初期値Ｃ１（ｉ，０）との加算を行い、この加算結果を演算部２３が２で割ることにより、次に示すように１ライン目の第１補正データＣ１（ｉ，１）が算出される。  
Ｃ１（ｉ，１）＝｛Ｃ１（ｉ，０）＋Ｐ（ｉ，１）｝／２
こうして算出された第１補正データＣ１（ｉ，１）は、固定パターンノイズ補正データ記録部２６に上書き保存されるとともに、遅延部２４へ出力されて１ライン分の読み出し時間の遅延が行われる。
【００６８】
同様にして、２ライン目およびそれ以降の処理は、次のように行われる。  
Ｃ１（ｉ，２）＝｛Ｃ１（ｉ，１）＋Ｐ（ｉ，２）｝／２
Ｃ１（ｉ，３）＝｛Ｃ１（ｉ，２）＋Ｐ（ｉ，３）｝／２
…
Ｃ１（ｉ，ｋ）＝｛Ｃ１（ｉ，ｋ−１）＋Ｐ（ｉ，ｋ）｝／２
【００６９】
このようにして、ＯＢ画素領域１２ｏｂの全てのラインの処理が終了すると、スイッチ２１がオフになって、固定パターンノイズ補正データ記録部２６には第１補正データＣ１（ｉ，ｋ）がそのまま記憶され続ける。
【００７０】
一方、減算部２７においては、入力データから、固定パターンノイズ補正データ記録部２６に記憶されている第１補正データの減算が行われる。
【００７１】
まず、この第１補正部１４からの出力データとなる補正後の画素データをＰ１（ｉ，ｊ）としておく。すると、入力データがＯＢ画素領域１２ｏｂの画素データである場合には、この出力データＰ１（ｉ，ｊ）は、減算部２７により次のように算出される。  
Ｐ１（ｉ，ｊ）＝Ｐ（ｉ，ｊ）−Ｃ１（ｉ，ｊ）
【００７２】
具体的に、入力データがＯＢ画素領域１２ｏｂの１ライン目である場合には、出力データＰ１（ｉ，１）は、次のようになる。  
Ｐ１（ｉ，１）＝Ｐ（ｉ，１）−Ｃ１（ｉ，１）
【００７３】
また、入力データが有効画素領域１２ｅｆの画素データである場合には、第１補正部１４からの出力データＰ１（ｉ，ｊ）は、減算部２７により次のように算出される。  
Ｐ１（ｉ，ｊ）＝Ｐ（ｉ，ｊ）−Ｃ１（ｉ，ｋ）
【００７４】
このような、第１補正部１４からの補正後の画素データＰ１（ｉ，ｊ）が、第２補正部１５へ入力される。
【００７５】
次に、図９は、第２補正データ演算部・第２補正処理部１５の要部における処理の様子を説明するための図である。上述した図７とこの図９を参照して、第２補正部１５における処理について説明する。
【００７６】
図７を参照して説明したように、第２補正部１５の構成は、第１補正部１４の構成と基本的に同一であるために、第２補正部１５において行われる処理は、第１補正部１４における上述したような処理と同様である。ただし、第２補正部１５における入力データが、第１補正部１４により第１段階目の固定パターンノイズ除去の処理が行われたデータである点が異なっている。
【００７７】
すなわち、第２補正部１５への入力データが、ＯＢ画素領域１２ｏｂの画素データに対応するデータである場合には、次のように第２補正データＣ２（ｉ，ｊ）が算出される（なお、この第２補正部１５においては、初期値付与部２５は初期値Ｃ２（ｉ，０）を与えるものとする）。  
Ｃ２（ｉ，ｊ）＝｛Ｃ２（ｉ，ｊ−１）＋Ｐ１（ｉ，ｊ）｝／２
【００７８】
そして、この第２補正部１５からの出力データとなる補正後の画素データをＰ２（ｉ，ｊ）とすると、入力データがＯＢ画素領域１２ｏｂの画素データに対応するデータである場合には、この出力データＰ２（ｉ，ｊ）は、減算部２７により次のように算出される。  
Ｐ２（ｉ，ｊ）＝Ｐ１（ｉ，ｊ）−Ｃ２（ｉ，ｊ）
【００７９】
また、入力データが有効画素領域１２ｅｆの画素データに対応するデータである場合には、第２補正部１５からの出力データＰ２（ｉ，ｊ）は、減算部２７により次のように算出される。  
Ｐ２（ｉ，ｊ）＝Ｐ１（ｉ，ｊ）−Ｃ２（ｉ，ｋ）
【００８０】
なお、上述したような処理を行う場合には、ＯＢ画素領域１２ｏｂの１行目よりもＯＢ画素領域１２ｏｂの最終行の方がランダムノイズが良好に除去されていることになる。
【００８１】
また、上述では、第１，第２補正部１４，１５は、ＯＢ画素領域１２ｏｂの画素データをライン単位で読み込みながら、ライン毎に巡回加算平均を行って、ランダムノイズを除去するようにしている。この場合、ＯＢ画素領域１２ｏｂの最終行であるｋ行目までの処理が終了した段階では、固定パターンノイズ補正データに対するランダムノイズの寄与割合は、ＯＢ画素領域１２ｏｂのｋ行目は１／２であるが、ＯＢ画素領域１２ｏｂの１行目は１／２^k（ここに、記号「^k」はｋ乗を意味している）となり、サンプル数ｋを用いたときのランダムノイズの最大低減効果である１／√ｋを得ることができない。そこで、ランダムノイズの低減効果をより高めたい場合には、固定パターンノイズ補正データに対するランダムノイズの寄与分が全てのラインについて等分となるように回路設計を行っても構わない。
【００８２】
具体的には、遅延部２４と加算部２２との間に第２の演算部を設けると共に、演算部２３の機能を異ならせる（以下、演算部２３’という）ことにより実現することができる。すなわち、ＯＢ画素領域１２ｏｂのｊライン目の画素データＰ（ｉ，ｊ）が入力されたら、第２の演算部は、遅延部２４からの値にｊを乗算し、その後に加算部２２がこの第２の演算部からのデータと入力された画素データＰ（ｉ，ｊ）とを加算し、さらにその後に演算部２３’が加算部２２の出力を（ｊ＋１）で割れば良い。このような処理により例えば第１補正部１４により得られる第１補正データＣ１は、順次、次のようになる（第２補正データＣ２についてもこれに準ずる）。  
Ｃ１（ｉ，１）＝｛Ｃ１（ｉ，０）＋Ｐ（ｉ，１）｝／２
Ｃ１（ｉ，２）＝｛Ｃ１（ｉ，１）×２＋Ｐ（ｉ，２）｝／３
Ｃ１（ｉ，３）＝｛Ｃ１（ｉ，２）×３＋Ｐ（ｉ，３）｝／４
…
Ｃ１（ｉ，ｋ）＝｛Ｃ１（ｉ，ｋ−１）×ｋ＋Ｐ（ｉ，ｋ）｝／（ｋ＋１）
【００８３】
あるいは、上記構成に代えて、ＯＢ画素領域１２ｏｂのライン数分のバッファや遅延回路を設けるようにすれば、さらに高いランダムノイズの低減効果を得ることが可能である。
【００８４】
ただし、図７に示したような構成は、演算部２３による処理が２で割るだけの単純なものであって、かつバッファがラインバッファ程度で足りるために、回路構成がより簡単でありながら、ある程度の高い効果を得ることができるものとなっている。そのために、現実の機器への適用等も考慮して、本実施形態においては図７の構成を採用している。
【００８５】
続いて、図１０〜図１６を参照して、第１補正データ演算部・第１補正処理部１４および第２補正データ演算部・第２補正処理部１５による固定パターンノイズ除去の実験例について説明する。図１０は固定パターンノイズ、ランダムノイズを重畳した固定パターンノイズ、第１補正データ、第１補正データによる補正後の画素データ、第２補正データ、第２補正データによる補正後の画素データに各関する幾つかの数値例を示す図表、図１１は固定パターンノイズの様子を示す線図、図１２はランダムノイズを重畳した固定パターンノイズの様子を示す線図、図１３は第１補正データの様子を示す線図、図１４は第１補正データによる補正後の画素データの様子を示す線図、図１５は第２補正データの様子を示す線図、図１６は第２補正データによる補正後の画素データの様子を示す線図である。
【００８６】
なお、この実験においては、ＯＢ画素領域１２ｏｂのライン数ｋを２０に設定している。
【００８７】
固定パターンノイズを除去する実験を行うに際して、まず、図１１に示すような固定パターンノイズをサンプルとして用意した。この固定パターンノイズは、黒レベルからのオフセットが発生しており、かつ１ラインにおける左右両端のレベルが低く、中央のレベルが高くなるような緩やかな曲線を描くパターンのノイズとなっている。この固定パターンノイズの具体的な、最小値、最大値、平均値、メディアン、標準偏差、値の幅（最大値−最小値）は、図１０のＦＰＮデータの欄に記載した通りである。そして、この固定パターンノイズを映像化した場合には、中央が左右よりも明るい縦縞模様として観察されることになる。
【００８８】
次に、図１２は、図１１に示した固定パターンノイズにランダムノイズを重畳したときの様子を示している。図１２（Ａ）の線図においては、中央の曲線が図１１に示したような固定パターンノイズを示し、その上下の曲線がランダムノイズの振幅の程度を示している。すなわち、重畳されているランダムノイズは、平均的な振幅が固定パターンノイズの振幅よりも小さく、かつ変化の周期が固定パターンノイズの変化周期よりも短い（例えば画素毎に変化する）ものとなっている。このような固定パターンノイズ（ＦＰＮ）に対するランダムノイズの様子を、図１２（Ｂ）に部分拡大図として示している。このランダムノイズを重畳した固定パターンノイズの具体的な各数値例は、図１０のＦＰＮ＋ＲＮの欄に記載した通りである。
【００８９】
続いて、図１３は、図１２に示したようなランダムノイズが重畳された固定パターンノイズのデータを第１補正部１４によりＯＢ画素領域１２ｏｂのライン数分（上述したｋライン分）だけ処理した後に得られる第１補正データの様子を示している。なお、この図１３から図１６までは、ランダムノイズを含む振幅の程度のみを２本の曲線で示している。図示のように、ｋライン分のデータを用いたことによる統計的な効果により、ランダムノイズの平均的な振幅が縮小していることが分かる。この第１補正データの具体的な各数値例は、図１０の第１補正データの欄に記載した通りである。
【００９０】
さらに、図１４は、図１２に示したようなランダムノイズが重畳された固定パターンノイズのデータから、図１３に示したような第１補正データを減算した後のデータの様子を示している。図示のように、黒レベルからのオフセットがほぼ解消されるとともに、左右に比して中央のレベルが高いパターンとなっている固定パターンノイズがかなり低減されていることが分かる。しかしながら、固定パターンノイズは依然として幾らかのレベルが残存していることも分かる。この第１の固定パターンノイズ補正を行った後のデータの具体的な各数値例は、図１０の第１補正後データの欄に記載した通りである。
【００９１】
そして、図１５は、図１４に示したような第１補正後データを第２補正部１５によりＯＢ画素領域１２ｏｂのライン数分（上述したｋライン分）だけ処理した後に得られる第２補正データの様子を示している。図示のように、第１段階目の固定パターンノイズ除去の処理が行われたｋライン分のデータを用いたことによる統計的な効果により、ランダムノイズの平均的な振幅がさらに縮小していることが分かる。この第２補正データの具体的な各数値例は、図１０の第２補正データの欄に記載した通りである。
【００９２】
加えて、図１６は、図１４に示したような第１補正後データから、図１５に示したような第２補正データを減算した後のデータの様子を示している。図示のように、ライン上の各画素値が黒レベルとほぼ一致し、黒レベルからのオフセットおよび固定パターンノイズが高い精度で低減されたことが分かる。この第２の固定パターンノイズ補正を行った後のデータの具体的な各数値例は、図１０の第２補正後データの欄に記載した通りである。
【００９３】
図１０に示した具体的な数値例に基づいて、第１補正部１４による処理を行った効果と、第２補正部１５による処理を行った効果と、を比較してみると、例えば次のようになる。
【００９４】
図１０において、平均値に着目すると、ＦＰＮ＋ＲＮ欄の平均値は１．６３６であるのに対して、第１補正後データ欄の平均値は−０．００１７３４、第２補正後データ欄の平均値は−０．００１３０２である。これは、第１補正部１４の処理を行ったことによる固定パターンノイズの低減効果が５９．５ｄＢ、第２補正部１５の処理を行ったことによる固定パターンノイズの低減効果が６２．０ｄＢであることを示している。従って、図１４と図１６とを視覚的に比較して分かる改善効果が、数値上でも現れていることになる。
【００９５】
次に、図１７は、固定パターンノイズを低減する処理の流れを示すフローチャートである。
【００９６】
この処理を開始すると、まず、撮像部２の画素部１２から図５の矢印ＡＲ１に示したような順序でライン毎にデータを読み出す（ステップＳ１）。
【００９７】
そして、第１補正部１４により、ライン毎に第１補正データを順次生成する（ステップＳ２）。
【００９８】
続いて、第１補正部１４により、ステップＳ１で読み出したラインデータから、ステップＳ２で生成した第１補正データを減算する処理を、ライン毎に順次行う（ステップＳ３）。
【００９９】
さらに、ステップＳ３により第１段階目の固定パターンノイズ除去の処理が行われたデータに基づいて、第２補正部１５により、ライン毎に第２補正データを順次生成する（ステップＳ４）。
【０１００】
その後、第２補正部１５により、ステップＳ３によって第１段階目の固定パターンノイズ除去の処理が行われたラインデータから、ステップＳ４で生成した第２補正データを減算する処理を、ライン毎に順次行う（ステップＳ５）。
【０１０１】
そして、全てのラインについてステップＳ５までの処理が終了したところで、この処理を終了する。
【０１０２】
図１８は、固定パターンノイズの低減処理に対応する撮像装置の撮影シーケンスの例を示すタイミングチャートである。
【０１０３】
この図１８の説明においては、撮像装置が、レンズ１からの被写体光を撮像部２へ到達させる時間を制御する光学シャッタと、撮像部２により撮影されている画像（動画像）をほぼリアルタイムに表示部４に表示するライブビュー機能と、を備えているものとする。そして、この図１８は、ライブビュー表示を行っている最中に、撮影装置のレリーズボタン等が操作されたときに静止画像の撮影が行われる様子を示している。
【０１０４】
ライブビュー表示（対応する撮影動作はライブビュー撮影）を行っているときには、光学シャッタは開いたままとなり、フレーム画像が連続的に取り込まれる。このとき、撮像部２からの画像の出力は、図５の矢印ＡＲ１に示した順序で、つまり先にＯＢ画素領域１２ｏｂ、後に有効画素領域１２ｅｆという順序で、フレーム毎に行われる。
【０１０５】
次に、カメラ操作部５に含まれるレリーズボタン等が操作されると、光学シャッタが閉じられ、その後に、設定されたシャッタ時間だけ光学シャッタを開くように幕走行（画素部１２への露光）が行われる。なお、露光前にシャッタを閉じているときと、露光を行っているときとには、撮像部２からは被写体像に係る画像信号は出力されない（ただし、リセットノイズ除去用の読出信号等は除く）。
【０１０６】
露光が終了したら、光学シャッタが閉じられ、図５の矢印ＡＲ１に示した順序で、まずＯＢ画素領域１２ｏｂの画像信号が読み出され、次に有効画素領域１２ｅｆの画像信号が読み出される。
【０１０７】
その後、各画素のフォトダイオードのリセット等の処理を行う時間だけ出力無の期間が続いた後に、再び光学シャッタが開かれて、ライブビュー表示が開始される。
【０１０８】
次に、図１９は撮影感度に応じて第２補正データ演算部・第２補正処理部１５による処理を行うか否かを異ならせる処理例を示すフローチャートである。
【０１０９】
この処理を開始すると、まず、撮像装置が撮影モードに設定される（ステップＳ１０）。なお、この撮像装置は、撮影モードと再生モードとに設定可能であるものとする。
【０１１０】
次に、感度設定が自動となっているか手動となっているかを判定する（ステップＳ１１）。ここで、自動となっている場合には、例えば撮像部２により撮影された画像に基づいて行われる測光結果、あるいは別途に設けられている測光装置等による測光結果に応じて、カメラ制御部７の感度設定部８が撮影感度を自動的に設定する（ステップＳ１２）。
【０１１１】
また、ステップＳ１１において、感度設定が手動となっている場合には、カメラ操作部５の感度入力部６から手動で入力された感度情報に基づいて、カメラ制御部７の感度設定部８が撮影感度を設定する（ステップＳ１３）。
【０１１２】
こうして感度設定が終了したら、カメラ操作部５のレリーズボタンが操作されるのを待機する（ステップＳ１４）。
【０１１３】
そして、レリーズボタンが操作されたところで、撮像部２により撮像を行い、画像を取得する（ステップＳ１５）。
【０１１４】
次に、取得した画像を図５の矢印ＡＲ１に示したような順序で読み出して、第１補正部１４により第１補正データの演算を行い、第１補正処理を行う（ステップＳ１６）。
【０１１５】
続いて、カメラ制御部７は、感度設定部８により上述したように設定された感度が、予め定められた所定感度以上であるか否かを判定する（ステップＳ１７）。ここに、所定感度は、第１補正処理だけで足りるか、あるいは第２補正処理も必要かを判定するための感度であり、固体撮像素子の種類や個体等に応じて予め実験等を行い定められたものとなっている。すなわち、設定感度に応じて、上述したように撮像信号をアナログ増幅するときの増幅率等が設定されるが、設定感度が高ければ増幅率も高くなるために、撮像信号中に含まれるランダムノイズも同様に増幅されてしまうことことになる。そこで、画像信号中にランダムノイズが多いか否かを、この設定されている撮影感度に基づき判定するようにしている。なお、ランダムノイズが多いか否かを判定する基準は、設定感度のみに依存するものではないために、その他の判定基準を用いるようにしても勿論構わない。
【０１１６】
このステップＳ１７において、設定感度が所定感度以上であると判定された場合には、第２補正部１５により第２補正データの演算を行い、第２補正処理を行う（ステップＳ１８）。
【０１１７】
一方、ステップＳ１７において、設定感度が所定感度未満であると判定された場合には、第２補正部１５による処理は行わない。
【０１１８】
こうして、ステップＳ１８の処理が終了するか、またはステップＳ１７において所定感度未満であると判定されるかしたときには、処理後の画像に各種の画像処理を行った後に、メモリカード９等に記録して保存し（ステップＳ１９）、この処理を終了する。
【０１１９】
なお、上述では、ＯＢ画素領域１２ｏｂの読み出しを通常の画素読み出しと同様に行っていたが、これに限るものではなく、ダミー読み出し、つまり画素自体からの電荷読み出しは行わずに（あるいは、各画素に含まれているフォトダイオードからの電荷読み出しは行わずに）、画素領域の下に設けられている水平転送ラインの転送動作のみを行うようにしても構わない。画素信号をこのようなダミーデータとした場合でも、固定パターンノイズ補正の処理は上述と同様に行うことが可能である。
【０１２０】
このような実施形態１によれば、１フレーム画像中の通常のライン数のＯＢ画素領域の画素値のみに基づいて固定パターンノイズ補正データを算出し、固定パターンノイズの除去を行っているために、ＯＢ画素領域の読み出しに要する時間は通常の固体撮像素子と同様であって長くなることはない。また、複数フレーム分の画像を読み出す必要がないために、読み出し時間が長くなることはない。
【０１２１】
そして、第１補正部１４により補正処理を行うのに加えて、第２補正部１５により補正処理を行うことにより、固定パターンノイズを高精度に補正することが可能となる。
【０１２２】
こうして、より高精度な固定パターンノイズの除去を、画像の読み出し時間を長くすることなく、あるいは固体撮像素子に多数行のＯＢ画素領域を設けることなく、行うことが可能となる。
【０１２３】
さらに、１フレーム分の画像データに基づいて固定パターンノイズの除去を行うことができるために、静止画像だけでなく動画像にも適用することが可能となる。
【０１２４】
［実施形態２］
図２０から図２３は本発明の実施形態２を示したものであり、図２０は画素部１２の構成および読み出し順序を示す図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１２５】
上述した実施形態１は、ＯＢ画素領域１２ｏｂからの読出データのみに基づいて固定パターンノイズ補正データを算出するものであったが、本実施形態は、ＯＢ画素領域１２ｏｂからの読出データに加えて遮光状態の有効画素領域１２ｅｆの一部分からの読出データに基づいて固定パターンノイズ補正データを算出するものとなっている。
【０１２６】
従って、本実施形態においては、１フレーム分の画像データのみを読み出しただけでは固定パターンノイズを補正した画像を取得することはできず、１フレーム分＋αの画像データの読み出しが必要となっている。ここに、プラスアルファ（＋α）の分とは、上述したＯＢ画素領域１２ｏｂおよび遮光状態の有効画素領域１２ｅｆの一部分に該当する。ただし、実用上は、有効画素領域１２ｅｆのライン数はＯＢ画素領域１２ｏｂのライン数よりも大幅に大きく、この有効画素領域１２ｅｆのごく一部を読み出せば良いために、２フレーム分の画像データを全て読み出すときよりは大幅に読出時間を短縮して、１フレーム分の画像データの読出時間に近付けることが可能である。
【０１２７】
すなわち、図２０に示すような、上述した実施形態１と同様の構成の画素部１２において、被写体に係る画像データを矢印ＡＲ１に示すように読み出す（この読み出しを、以下では本読出ということにする）のに先行して、画素部１２を遮光状態にしてから、矢印ＡＲ２に示すように、ＯＢ画素領域１２ｏｂの画素データと、有効画素領域１２ｅｆにおけるＯＢ画素領域１２ｏｂに隣接する幾つかのライン（ライン数をｑとする）の画素データと、を読み出す（この読み出しを、以下ではプレ読出ということにする）。ここでプレ読出により読み出されたデータは、後述するように、第１補正部１４により第１補正データを算出するために用いられる。
【０１２８】
その後、被写体に係る画像データを読み出すために、矢印ＡＲ１に示すように、ＯＢ画素領域１２ｏｂの画素データと、有効画素領域１２ｅｆの全ラインの画素データと、を読み出す。ＯＢ画素領域１２ｏｂの画素データから、第１補正部１４により算出された第１補正データを減算することにより、第１段階目の固定パターンノイズ除去の処理が行われたラインデータを算出し、算出したラインデータに基づいて第２補正部１５により第２補正データが算出される。そして、その後に読み出されてくる有効画素領域１２ｅｆのラインデータから、上述した第１補正データを減算し、さらにこの第２補正データを減算することにより、第２段階目の固定パターンノイズ除去の処理が行われたラインデータを得ることができるようになっている。
【０１２９】
このような処理手順を行う第１補正部１４および第２補正部１５の内の、第２補正部１５の構成は上述した実施形態１の図７に示したものと同様であるが、第１補正部１４の構成はやや異なっているために、図２１を参照して説明する。
【０１３０】
ここに、図２１は、第１補正データ演算部・第１補正処理部１４の構成を示す図である。
【０１３１】
第１補正部１４は、スイッチ２１と、加算部２２と、演算部２３Ａと、遅延部２４と、固定パターンノイズ補正データ記録部２６Ａと、減算部２７と、を備えて構成されている。
【０１３２】
入力データは、スイッチ２１と減算部２７とへ接続されている。スイッチ２１は、加算部２２へ接続されている。加算部２２は、演算部２３Ａと遅延部２４とへ接続されている。遅延部２４は、加算部２２へ接続されている。演算部２３Ａは、固定パターンノイズ補正データ記録部２６Ａへ接続されている。固定パターンノイズ補正データ記録部２６Ａは、減算部２７へ接続されている。そして、減算部２７から出力データが出力されるようになっている。
【０１３３】
スイッチ２１は、プレ読出である場合、つまり、入力データがプレ読出におけるＯＢ画素領域１２ｏｂの読出データおよび所定ライン数の遮光状態の有効画素領域１２ｅｆの読出データである場合にはオンし、入力データが本読出の読出データである場合にはオフするスイッチである。
【０１３４】
加算部２２は、入力データと、遅延部２４により例えば１ライン分遅延されたデータとを加算するものである。
【０１３５】
演算部２３Ａは、加算部２２から出力されるデータを、本実施形態においては例えばプレ読出のトータルライン数、つまり、ＯＢ画素領域１２ｏｂのライン数ｋとプレ読出において遮光状態の有効画素領域１２ｅｆから読み出されるライン数ｑとを加算したライン数（ｋ＋ｑ）で割るものである。
【０１３６】
遅延部２４は、加算部２２から出力されるデータを、１ライン分の読み出し時間だけ遅延するものであり、例えばラインバッファを含んで構成されている。
【０１３７】
固定パターンノイズ補正データ記録部２６Ａは、１ライン分のラインバッファとして構成されていて、演算部２３Ａから次のラインのデータが出力されると、既に記憶しているラインデータに上書きして保存するものとなっている。そして、プレ読出が終了してスイッチ２１がオフすることにより、演算部２３Ａから次のラインのデータが出力されなくなると、プレ読出における最終ラインの処理を行った結果記憶しているラインデータをそのまま記憶し続けるようになっている。
【０１３８】
減算部２７は、入力データから、固定パターンノイズ補正データ記録部２６Ａに記憶されている固定パターンノイズ補正データを減算して、固定パターンノイズが低減された出力データを出力するものである。ただし、本実施形態においては、プレ読出時のデータは特に出力しなくても構わない。
【０１３９】
次に、この図２１に示したような構成の第１補正部１４により算出される第１補正データについて説明する。
【０１４０】
まず、処理を開始する前に、遅延部２４内のラインバッファを０に初期化しておく。
【０１４１】
そして、ＯＢ画素領域１２ｏｂの１ライン目の画素データＰ（ｉ，１）が入力されると、加算部２２が遅延部２４からの値との加算を行うが、ここでは０に初期化されているために、１ライン目の画素データＰ（ｉ，１）がそのまま遅延部２４と演算部２３Ａとへ出力される。
【０１４２】
演算部２３Ａへ出力されたデータは、（ｋ＋ｑ）で割り算されて固定パターンノイズ補正データ記録部２６Ａに記録されるが、このデータは、次のラインのデータが入力される毎に上書きされるために、有用に使用されることはなく、以下では有用となる最終的なデータが得られるまでは説明を省略する。
【０１４３】
次に、２ライン目の画素データＰ（ｉ，２）が入力されると、加算部２２により、遅延部２４に記憶されている１ライン目の画素データＰ（ｉ，１）との加算が行われる。
【０１４４】
３ライン目以降も加算部２２による加算が同様にして行われ、この加算は、遮光された有効画素領域１２ｅｆのプレ読出における最終ラインであるｑライン目まで行われる。有効画素領域１２ｅｆのｑライン目までの処理を行った結果、加算部２２から出力されるデータは、ΣＰ（ｉ，ｊ）となる。ここに、記号「Σ」で表される加算は、ｊ＝１〜（ｋ＋ｑ）について行われる。
【０１４５】
加算部２２からこの加算結果ΣＰ（ｉ，ｊ）が出力されると、演算部２３Ａにより（ｋ＋ｑ）で割り算され、固定パターンノイズ補正データ記録部２６Ａに上書きして記録される。
【０１４６】
こうして、プレ読出を行って第１補正部１４により得られる最終的な第１補正データＣ１（ｉ，ｋ＋ｑ）は
Ｃ１（ｉ，ｋ＋ｑ）＝ΣＰ（ｉ，ｊ）／（ｋ＋ｑ）
となる。すなわち、この第１補正部１４は、ＯＢ画素領域１２ｏｂの全ラインおよび遮光された有効画素領域１２ｅｆのプレ読出に用いられる幾つかのラインの、単純加算平均を算出するものとなっている。
【０１４７】
そして、プレ読出が終了したところで、スイッチ２１がオフになり、続いて本読出が開始される。
【０１４８】
すると、ライン単位で入力される本読出のデータから、減算部２７が上述した最終的な第１補正データＣ１（ｉ，ｋ＋ｑ）の減算処理を行う。これにより、補正されたＯＢ画素領域１２ｏｂの信号および補正された有効画素領域１２ｅｆの信号が、第２補正部へ出力される。
【０１４９】
その後の第２補正部１５は、上述した実施形態１と同様に、ＯＢ画素領域１２ｏｂからの読出データに基づいて、巡回加算平均をとることにより、第２補正データを算出する。これにより、第１補正部１４による補正後にも残存する固定パターンノイズを、より高精度に除去することができる。
【０１５０】
次に、図２２は固定パターンノイズを低減する処理の流れを示すフローチャート、図２３は固定パターンノイズの低減処理に対応する撮像装置の撮影シーケンスの例を示すタイミングチャートである。
【０１５１】
本実施形態においては、本読出の前にプレ読出を行う必要があるために、ノイズ低減処理の流れや撮影シーケンスが上述した実施形態１とはやや異なっている。
【０１５２】
すなわち、カメラ操作部５のレリーズボタン等が操作されることにより、図２２に示す処理が開始されると、まず、光学シャッタを閉じる（ステップＳ２１）。
【０１５３】
次に、プレ読出を行って、先読データ（すなわち、ＯＢ画素領域１２ｏｂおよび有効画素領域１２ｅｆの一部からの読出データ）を順次出力する（図２３も参照）（ステップＳ２２）。
【０１５４】
続いて、先読データに基づいて、第１補正部１４が第１補正データを上述したように算出する（ステップＳ２３）。
【０１５５】
その後、設定されたシャッタ時間だけ光学シャッタを開くように幕走行（画素部１２への露光）が行われる（ステップＳ２４）。なお、プレ読出を行って以降は、露光が終了するまでは撮像部２からは被写体像に係る画像信号は出力されない。
【０１５６】
露光が終了してシャッタが再び閉じられたら、図５の矢印ＡＲ１に示したような順序で、つまりＯＢ画素領域１２ｏｂ、有効画素領域１２ｅｆの順序で、画像データがライン毎に順次読み出される（ステップＳ２５）。
【０１５７】
するとまず、第１補正部１４により撮像部２から出力されたデータから、ステップＳ２３において生成された第１補正データが順次減算される（ステップＳ２６）。
【０１５８】
次に、第１補正部１４からの第１段階目の固定パターンノイズ除去の処理が行われたデータの内の、ＯＢ画素領域１２ｏｂに関するデータを第２補正部１５がライン単位で順次処理して行くことにより、ＯＢ画素領域１２ｏｂにおける最終ラインまでの処理が終了したところで最終的な第２補正データが算出される（ステップＳ２７）。
【０１５９】
続いて、第１補正部１４から第１段階目の固定パターンノイズ除去の処理が行われた有効画素領域１２ｅｆが出力されたら、第２補正部１５が第２補正データをライン毎に順次減算することにより、第２段階目の固定パターンノイズ除去の処理を行う（ステップＳ２８）。
【０１６０】
こうして、有効画素領域１２ｅｆの全ラインについて第２段階目の固定パターンノイズ除去処理が行われたところで、この処理を終了する。
【０１６１】
なお、本実施形態においては、第１補正部１４が単純加算平均により第１補正データを算出し、第２補正部１５が巡回加算平均により第２補正データを算出するようにしたが、第２補正部１５についても単純加算平均を行うようにしても構わない（なお、上述した実施形態１においても、第２補正部１５を単純加算平均を行うように構成しても構わない）。この場合には、第２補正部１５も図２１に示したような構成を備えることになるが、第２補正データを算出するために用いられる撮像部２からの読出データは、本読出時のＯＢ画素領域１２ｏｂからの読出データのみとなる。そして、このときに、本読出の有効画素領域１２ｅｆに対して適用される第２補正データＣ２（ｉ，ｋ）は、次のようになる。  
Ｃ２（ｉ，ｋ）＝Σ｛Ｐ（ｉ，ｊ）−Ｃ１（ｉ，ｋ＋ｑ）｝／ｋ
ここに、記号「Σ」で表される加算は、ｊ＝１〜ｋについて行われる。
【０１６２】
また、本実施形態においても、上述した実施形態１と同様に、プレ読出時におけるＯＢ画素領域１２ｏｂおよび遮光された有効画素領域１２ｅｆの一部の読み出しと、本読出時におけるＯＢ画素領域１２ｏｂの読み出しとを、ダミー読み出しとしても構わない。
【０１６３】
このような実施形態２によれば、第１補正部１４により補正処理を行うのに加えて、第２補正部１５により補正処理を行うようにしているために、ＯＢ画素領域の全ラインと遮光された状態の有効画素領域の内の幾つかのラインとを読み出すだけで、比較的高精度な固定パターンノイズの補正を行うことが可能となる。そして、この場合であっても、複数フレームの画像データを読み出す従来例や、多数行のＯＢ画素領域を設ける従来例に比して、読出時間を短縮したり製造コストを削減したりすることが可能となる。
【０１６４】
さらに、第１補正部１４（あるいはこれに加えて第２補正部１５）が単純加算平均を行うようにしているために、ランダムノイズの低減効果が巡回加算平均よりも高いと期待することができ、かつ回路構成がより簡単になる利点がある。
【０１６５】
なお、上述では、固体撮像素子のノイズ除去装置、および固体撮像素子のノイズ除去装置を備える撮像装置についてを主として説明したが、同様の処理を行うための固体撮像素子のノイズ除去方法であっても構わない。
【０１６６】
そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【図面の簡単な説明】
【０１６７】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１において、補正データ演算および補正処理の一部を撮像部に、他の一部を画像処理部に、それぞれ担わせるようにした構成例を示すブロック図。
【図３】上記実施形態１において、補正データ演算および補正処理を画像処理部に担わせるようにした構成例を示すブロック図。
【図４】上記実施形態１において、補正データ演算および補正処理を撮像部に担わせるようにした構成例を示すブロック図。
【図５】上記実施形態１における画素部の構成および読み出し順序を示す図。
【図６】上記実施形態１におけるＯＢ画素領域の画素構成を示す図。
【図７】上記実施形態１における第１補正データ演算部・第１補正処理部および第２補正データ演算部・第２補正処理部の構成を示す図。
【図８】上記実施形態１において、第１補正データ演算部・第１補正処理部の要部における処理の様子を説明するための図。
【図９】上記実施形態１において、第２補正データ演算部・第２補正処理部の要部における処理の様子を説明するための図。
【図１０】上記実施形態１において、固定パターンノイズ、ランダムノイズを重畳した固定パターンノイズ、第１補正データ、第１補正データによる補正後の画素データ、第２補正データ、第２補正データによる補正後の画素データに各関する幾つかの数値例を示す図表。
【図１１】上記実施形態１において、固定パターンノイズの様子を示す線図。
【図１２】上記実施形態１において、ランダムノイズを重畳した固定パターンノイズの様子を示す線図。
【図１３】上記実施形態１において、第１補正データの様子を示す線図。
【図１４】上記実施形態１において、第１補正データによる補正後の画素データの様子を示す線図。
【図１５】上記実施形態１において、第２補正データの様子を示す線図。
【図１６】上記実施形態１において、第２補正データによる補正後の画素データの様子を示す線図。
【図１７】上記実施形態１において、固定パターンノイズを低減する処理の流れを示すフローチャート。
【図１８】上記実施形態１において、固定パターンノイズの低減処理に対応する撮像装置の撮影シーケンスの例を示すタイミングチャート。
【図１９】上記実施形態１において、撮影感度に応じて第２補正データ演算部・第２補正処理部による処理を行うか否かを異ならせる処理例を示すフローチャート。
【図２０】本発明の実施形態２における画素部の構成および読み出し順序を示す図。
【図２１】上記実施形態１における第１補正データ演算部・第１補正処理部の構成を示す図。
【図２２】上記実施形態１において、固定パターンノイズを低減する処理の流れを示すフローチャート。
【図２３】上記実施形態１において、固定パターンノイズの低減処理に対応する撮像装置の撮影シーケンスの例を示すタイミングチャート。
【符号の説明】
【０１６８】
１…レンズ
２…撮像部
３…画像処理部
４…表示部
５…カメラ操作部
６…感度入力部
７…カメラ制御部（制御部）
８…感度設定部
９…メモリカード
１１…ＴＧ部
１２…画素部
１２ｅｆ…有効画素領域
１２ｏｂ…ＯＢ画素領域
１３…増幅部・ＣＤＳ部・Ａ／Ｄ変換部
１３ａ…増幅部・ＣＤＳ部
１３ｂ…Ａ／Ｄ変換部
１４…第１補正データ演算部・第１補正処理部（第１補正部）
１５…第２補正データ演算部・第２補正処理部（第２補正部）
１６…デモザイキング部
１７…ホワイトバランス・γ補正部
１８…圧縮／伸張部
２１…スイッチ
２２…加算部
２３，２３Ａ…演算部
２４…遅延部
２５…初期値付与部
２６，２６Ａ…固定パターンノイズ補正データ記録部
２７…減算部
【図１】
2009302850.tif 000003
【図２】
2009302850.tif 000004
【図３】
2009302850.tif 000005
【図４】
2009302850.tif 000006
【図５】
2009302850.tif 000007
【図６】
2009302850.tif 000008
【図７】
2009302850.tif 000009
【図８】
2009302850.tif 000010
【図９】
2009302850.tif 000011
【図１０】
2009302850.tif 000012
【図１１】
2009302850.tif 000013
【図１２】
2009302850.tif 000014
【図１３】
2009302850.tif 000015
【図１４】
2009302850.tif 000016
【図１５】
2009302850.tif 000017
【図１６】
2009302850.tif 000018
【図１７】
2009302850.tif 000019
【図１８】
2009302850.tif 000020
【図１９】
2009302850.tif 000021
【図２０】
2009302850.tif 000022
【図２１】
2009302850.tif 000023
【図２２】
2009302850.tif 000024
【図２３】
2009302850.tif 000025