(57)【要約】【課題】より適切にクランプ処理を行うことができるようにする。【解決手段】本開示の信号処理装置は、撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定する決定部と、前記決定部により決定された複数の前記候補の比較を行う比較部と、前記比較部による複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する選択部とを備える。本開示は信号処理装置および方法、並びに、撮像装置および方法に適用することができる。【選択図】図３
2013051489.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定する決定部と、
前記決定部により決定された複数の前記候補の比較を行う比較部と、
前記比較部による複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する選択部と
を備える信号処理装置。
【請求項２】
前記決定部は、前記候補として、前記有効画素領域の左に設けられたOPB領域の画素値を用いて左OPBレベルを決定し、前記有効画素領域の右に設けられたOPB領域の画素値を用いて右OPBレベルを決定し、
前記選択部は、前記比較結果に基づいて、前記決定部により決定された前記左OPBレベルと前記右OPBレベルの内、いずれか一方を選択する
請求項１に記載の信号処理装置。
【請求項３】
前記比較部は、前記左OPBレベルと前記右OPBレベルとで値の大きさを比較し、
前記選択部は、前記比較部による比較結果に基づいて、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択する
請求項２に記載の信号処理装置。
【請求項４】
前記比較部は、前記左OPBレベルと前記右OPBレベルとの差分値を求め、
前記選択部は、前記差分値の大きさに応じて前記左OPBレベルと前記右OPBレベルのいずれか一方を選択する
請求項２に記載の信号処理装置。
【請求項５】
前記比較部は、前記左OPBレベルと前記右OPBレベルとの差分絶対値と所定の閾値とを比較し、
前記選択部は、前記差分絶対値が前記閾値より大きい場合、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択する
請求項４に記載の信号処理装置。
【請求項６】
前記比較部は、前記左OPBレベルと前記右OPBレベルとを除算し、
前記選択部は、前記除算結果が１若しくは１近傍の値でない場合、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択する
請求項２に記載の信号処理装置。
【請求項７】
前記比較部は、前記左OPBレベルおよび前記右OPBレベルの一方を所定の閾値と比較し、
前記選択部は、前記閾値と比較された一方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
請求項２に記載の信号処理装置。
【請求項８】
前記比較部は、前記閾値と比較されたOPBレベルが前記閾値より大きい場合、さらに、他方のOPBレベルを所定の閾値と比較し、
前記選択部は、前記閾値と比較された他方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
請求項７に記載の信号処理装置。
【請求項９】
前記有効画素領域の画素値を抽出する抽出部と、
前記抽出部により抽出された前記画素値から前記選択部により選択されたOPBレベルを減算する減算部と
をさらに備える請求項１に記載の信号処理装置。
【請求項１０】
前記決定部は、前記候補として、前記有効画素領域の上に設けられたOPB領域の画素値を用いて上OPBレベルを決定し、前記有効画素領域の下に設けられたOPB領域の画素値を用いて下OPBレベルを決定し、
前記選択部は、前記比較結果に基づいて、前記決定部により決定された前記上OPBレベルと前記下OPBレベルの内、いずれか一方を選択する
請求項１に記載の信号処理装置。
【請求項１１】
前記選択部により選択されたOPBレベルを記憶する記憶部をさらに有する
請求項１０に記載の信号処理装置。
【請求項１２】
前記比較部は、前記上OPBレベルと前記下OPBレベルとで値の大きさを比較し、
前記選択部は、前記比較部による比較結果に基づいて、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択する
請求項１０に記載の信号処理装置。
【請求項１３】
前記比較部は、前記上OPBレベルと前記下OPBレベルとの差分値を求め、その差分絶対値と所定の閾値とを比較し、
前記選択部は、前記差分絶対値が前記閾値より大きい場合、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択する
請求項１０に記載の信号処理装置。
【請求項１４】
前記比較部は、前記上OPBレベルと前記下OPBレベルとを除算し、
前記選択部は、前記除算結果が１若しくは１近傍の値でない場合、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択する
請求項１０に記載の信号処理装置。
【請求項１５】
前記比較部は、前記上OPBレベルおよび前記下OPBレベルの一方を所定の閾値と比較し、
前記選択部は、前記閾値と比較された一方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
請求項１０に記載の信号処理装置。
【請求項１６】
前記比較部は、前記閾値と比較されたOPBレベルが前記閾値より大きい場合、さらに、他方のOPBレベルを所定の閾値と比較し、
前記選択部は、前記閾値と比較された他方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
請求項１５に記載の信号処理装置。
【請求項１７】
前記撮像素子は裏面照射型のCMOSイメージセンサである
請求項１に記載の信号処理装置。
【請求項１８】
信号処理装置の信号処理方法であって、
決定部が、撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定し、
比較部が、決定された複数の前記候補の比較を行い、
選択部が、複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する
信号処理方法。
【請求項１９】
有効画素領域とOPB領域とを有し、入射光を光電変換する撮像部と、
前記撮像部の前記OPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定する決定部と、
前記決定部により決定された複数の前記候補の比較を行う比較部と、
前記比較部による複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する選択部と
を備える撮像装置。
【請求項２０】
撮像装置の撮像方法であって、
撮像部が、有効画素領域とOPB領域とを有し、入射光を光電変換し、
決定部が、前記OPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定し、
比較部が、決定された複数の前記候補の比較を行い、
選択部が、複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置および方法、並びに、撮像装置および方法に関し、特に、黒レベルを補正するクランプ処理をより適切に行うことができるようにした信号処理装置および方法、並びに、撮像装置および方法に関する。
【背景技術】
【０００２】
従来、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサ等の撮像素子を用いて得られる画像信号の黒レベルを基準値に補正するクランプ処理がある。例えば、撮像素子の有効画素領域外に設けられたOPB（Optical Black）領域の画素値が黒レベルの基準値とされ、その画素値を用いて有効画素領域内の各画素値の補正が行われる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１９１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、太陽光のような非常に強い光が、OPB領域近傍の有効画素領域に照射すると、その光がOPB領域に侵入する場合があった。このようにOPB領域の画素に光が侵入すると、OPB領域の画素値（OPBレベル）が浮いてしまい（値が大きくなり）、クランプ処理において適切な黒レベルの補正ができなくなる恐れがあった。
【０００５】
特に、フォトダイオードの光が入射する側の反対側に配線層が形成される裏面照射型のイメージセンサの場合、フォトダイオードを透過した入射光が、銅配線により反射して配線層を迷光したのち、OPB領域の画素に侵入する可能性が高かった。そのため、裏面照射型のイメージセンサの場合、特に、OPBレベルの強い入射光に対するロバスト性が低かった。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一側面は、撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定する決定部と、前記決定部により決定された複数の前記候補の比較を行う比較部と、前記比較部による複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する選択部とを備える信号処理装置である。
【０００８】
前記決定部は、前記候補として、前記有効画素領域の左に設けられたOPB領域の画素値を用いて左OPBレベルを決定し、前記有効画素領域の右に設けられたOPB領域の画素値を用いて右OPBレベルを決定し、前記選択部は、前記比較結果に基づいて、前記決定部により決定された前記左OPBレベルと前記右OPBレベルの内、いずれか一方を選択することができる。
【０００９】
前記比較部は、前記左OPBレベルと前記右OPBレベルとで値の大きさを比較し、前記選択部は、前記比較部による比較結果に基づいて、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択することができる。
【００１０】
前記比較部は、前記左OPBレベルと前記右OPBレベルとの差分値を求め、前記選択部は、前記差分値の大きさに応じて前記左OPBレベルと前記右OPBレベルのいずれか一方を選択することができる。
【００１１】
前記比較部は、前記左OPBレベルと前記右OPBレベルとの差分絶対値と所定の閾値とを比較し、前記選択部は、前記差分絶対値が前記閾値より大きい場合、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択することができる。
【００１２】
前記比較部は、前記左OPBレベルと前記右OPBレベルとを除算し、前記選択部は、前記除算結果が１若しくは１近傍の値でない場合、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択することができる。
【００１３】
前記比較部は、前記左OPBレベルおよび前記右OPBレベルの一方を所定の閾値と比較し、前記選択部は、前記閾値と比較された一方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択することができる。
【００１４】
前記比較部は、前記閾値と比較されたOPBレベルが前記閾値より大きい場合、さらに、他方のOPBレベルを所定の閾値と比較し、前記選択部は、前記閾値と比較された他方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択することができる。
【００１５】
前記有効画素領域の画素値を抽出する抽出部と、前記抽出部により抽出された前記画素値から前記選択部により選択されたOPBレベルを減算する減算部とをさらに備えることができる。
【００１６】
前記決定部は、前記候補として、前記有効画素領域の上に設けられたOPB領域の画素値を用いて上OPBレベルを決定し、前記有効画素領域の下に設けられたOPB領域の画素値を用いて下OPBレベルを決定し、前記選択部は、前記比較結果に基づいて、前記決定部により決定された前記上OPBレベルと前記下OPBレベルの内、いずれか一方を選択することができる。
【００１７】
前記選択部により選択されたOPBレベルを記憶する記憶部をさらに有することができる。
【００１８】
前記比較部は、前記上OPBレベルと前記下OPBレベルとで値の大きさを比較し、前記選択部は、前記比較部による比較結果に基づいて、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択することができる。
【００１９】
前記比較部は、前記上OPBレベルと前記下OPBレベルとの差分値を求め、その差分絶対値と所定の閾値とを比較し、前記選択部は、前記差分絶対値が前記閾値より大きい場合、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択することができる。
【００２０】
前記比較部は、前記上OPBレベルと前記下OPBレベルとを除算し、前記選択部は、前記除算結果が１若しくは１近傍の値でない場合、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択することができる。
【００２１】
前記比較部は、前記上OPBレベルおよび前記下OPBレベルの一方を所定の閾値と比較し、前記選択部は、前記閾値と比較された一方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択することができる。
【００２２】
前記比較部は、前記閾値と比較されたOPBレベルが前記閾値より大きい場合、さらに、他方のOPBレベルを所定の閾値と比較し、前記選択部は、前記閾値と比較された他方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択することができる。
【００２３】
前記撮像素子は裏面照射型のCMOSイメージセンサであるようにすることができる。
【００２４】
本開示の一側面は、また、信号処理装置の信号処理方法であって、決定部が、撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定し、比較部が、決定された複数の前記候補の比較を行い、選択部が、複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する信号処理方法である。
【００２５】
本開示の他の側面は、有効画素領域とOPB領域とを有し、入射光を光電変換する撮像部と、前記撮像部の前記OPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定する決定部と、前記決定部により決定された複数の前記候補の比較を行う比較部と、前記比較部による複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する選択部とを備える撮像装置である。
【００２６】
本開示の他の側面は、また、撮像装置の撮像方法であって、撮像部が、有効画素領域とOPB領域とを有し、入射光を光電変換し、決定部が、前記OPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定し、比較部が、決定された複数の前記候補の比較を行い、選択部が、複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する撮像方法である。
【００２７】
本開示の一側面においては、撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、有効画素領域の画素値の黒レベルを補正するOPBレベルの候補が複数決定され、決定された複数の候補の比較が行われ、複数の候補の比較結果に基づいて、候補のいずれかがOPBレベルとして選択される。
【００２８】
本開示の他の側面においては、入射光が光電変換され、OPB領域の、互いに異なる位置の画素値を用いて、有効画素領域の画素値の黒レベルを補正するOPBレベルの候補が複数決定され、決定された複数の候補の比較が行われ、複数の候補の比較結果に基づいて、候補のいずれかがOPBレベルとして選択される。
【発明の効果】
【００２９】
本開示によれば、画像信号に対してクランプ処理を行うことができる。特に、より適切にクランプ処理を行うことができる。
【図面の簡単な説明】
【００３０】
【図１】OPB領域への光の回り込みの様子を説明する図である。
【図２】OPB領域への光の回り込みの様子を説明する図である。
【図３】本技術の撮像装置の主な構成例を示すブロック図である。
【図４】撮像処理の流れの例を説明するフローチャートである。
【図５】クランプ処理の流れの例を説明するフローチャートである。
【図６】クランプ処理の流れの他の例を説明するフローチャートである。
【図７】OPBレベル決定の他の例の様子を説明する図である。
【図８】クランプ処理の流れの、さらに他の例を説明するフローチャートである。
【図９】OPBレベル決定の、さらに他の例の様子を説明する図である。
【図１０】本技術の撮像装置の他の構成例を示すブロック図である。
【図１１】OPBレベル決定部の主な構成例を示すブロック図である。
【図１２】撮像処理の流れの他の例を説明するフローチャートである。
【図１３】OPBレベル決定処理の流れの例を説明するフローチャートである。
【図１４】OPBレベル決定の、さらに他の例の様子を説明する図である。
【図１５】OPBレベル決定部の他の構成例を示すブロック図である。
【図１６】OPBレベル決定処理の流れの他の例を説明するフローチャートである。
【図１７】撮像装置の他の構成例を示すブロック図である。
【図１８】撮像装置のさらに他の構成例を示すブロック図である。
【図１９】パーソナルコンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置：OPB領域横）
２．第２の実施の形態（撮像装置：OPB領域縦）
３．第３の実施の形態（応用例１：撮像装置）
４．第４の実施の形態（応用例２：撮像装置）
５．第５の実施の形態（応用例３：パーソナルコンピュータ）
【００３２】
＜１．第１の実施の形態＞
［光の回り込み］
従来、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサ等の撮像素子を用いる撮像装置等においては、撮像素子において得られる画像信号に対して、その黒レベルを基準値に補正するクランプ処理が行われる。
【００３３】
例えば、撮像素子の有効画素領域外に、基準とする黒レベルを検出する画素領域（OPB（Optical Black）領域）が設けられ、その画素値を用いて有効画素領域内の各画素値の補正が行われる。
【００３４】
OPB領域の各画素の構造は、遮光膜によって外部からの光の入射が遮られていること以外、有効画素領域の画素と同様である。したがって、理論的には、そのOPB領域の画素値を黒レベルの基準値とすることにより、有効画素領域の各画素の画素値から入射光以外の影響を排除することができる（正しい輝度値を得ることができる）。
【００３５】
しかしながら、実際には、例えば、図１に示されるように、OPB領域近傍の有効画素領域に、太陽光のような非常に強い光１が照射されると、その入射光が、撮像素子内部でOPB領域に侵入する（光の回り込みが発生する）場合がある。
【００３６】
図１の例の場合、有効画素領域のOPB領域近傍に照射された強い光１によって、OPB領域の一部分（領域２）において画素値が浮いている。つまり、白色で示される領域２の画素値は、理論上は、黒色で示される他のOPB領域の画素値と同じ値となる筈であるが、図１の例の場合、黒色で示される他のOPB領域の画素値よりも大きくなってしまっている。
【００３７】
特に、フォトダイオードの光が入射する側の反対側に配線層が形成される裏面照射型のイメージセンサの場合、このような光の回り込みが発生し易い。
【００３８】
図２にCMOSイメージセンサの断面図を示す。図２に示されるCMOSイメージセンサ１０は、裏面照射型のCMOSイメージセンサである。図２に示されるように、集光レンズ１１、カラーフィルタ１２、絶縁膜１３、半導体基板１５、および配線層１７等が積層される。つまり、CMOSイメージセンサ１０は多層構造を形成する。
【００３９】
図２においては、５画素分の構成が模式的に示されている。半導体基板１５には、各画素のフォトダイオード１６が形成される。また、配線層１７には、各画素の回路の配線１８および配線層間膜１９が形成される。
【００４０】
図２に示される５画素の内、図中右の２画素が有効画素領域２１の画素であり、図中左の３画素がOPB領域２２の画素である。OPB領域２２の画素には、絶縁膜１３に遮光膜１４が形成され、外部から光の侵入が遮られている。
【００４１】
ただし、上述したように、有効画素領域２１の、OPB領域２２近傍の画素に入射した強い光の一部が、CMOSイメージセンサ１０内部で、OPB領域２２に侵入する場合がある。例えば、入射光３１のように、フォトダイオードの図中上面（光が入射する側）の境界において反射し、OPB領域２２の遮光膜１４の裏側に侵入する場合がある。また、例えば、入射光３２のように、フォトダイオードの図中下面（光が入射する側と反対側）の境界において反射し、OPB領域２２の遮光膜１４の裏側に侵入する場合がある。さらに、例えば、入射光３３のように、配線１８により反射し、配線層１７を迷光してOPB領域２２の遮光膜１４の裏側に侵入する場合がある。
【００４２】
このように、OPB領域２２の遮光膜１４の裏側に侵入した光が、OPB領域２２の画素のフォトダイオード１６によって光電変換されると、その画素の画素値が浮いてしまう。つまり、光の回り込みが発生する。
【００４３】
このように、裏面照射型のCMOSイメージセンサは、その構造上、光の回り込みが発生し易い特徴を有する。
【００４４】
このようにOPB領域の画素値（OPBレベル）が浮いてしまうと、クランプ処理において、黒レベルの基準値が浮くことになるので、有効画素領域の画素値を正しく補正することができなかった。つまり、従来の場合、強い入射光に対するロバスト性が低かった。
【００４５】
［撮像装置］
そこで、本開示においては、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができるようにする技術について説明する。
【００４６】
図３は、本技術を適用した撮像装置の主な構成例を示す図である。図３に示されるように、撮像装置１００は、撮像素子１０１、A/D変換部１０２、およびクランプ部１０３を有する。
【００４７】
撮像素子１０１は、裏面照射型のCMOSイメージセンサである。撮像素子１０１は、有効画素領域１１１およびOPB領域を有する。図３に示されるように、有効画素領域１１１のを囲むようにOPB領域１１２が形成される。つまり、平面上若しくは曲面状に配置された画素群の領域が、その中央部と周縁部に分けられ、中央部が有効画素領域とされ、周縁部がOPB領域とされる。OPB領域の各画素は、遮光膜により遮光され、できるだけ、外部からの光が、その画素の集光レンズやフィルタ等を透過してフォトダイオードに入射されないようになされている。以下においては、必要に応じて、有効画素領域１１１の図中左側のOPB領域を左OPB領域１１２Ｌと称し、有効画素領域１１１の図中右側のOPB領域を右OPB領域１１２Ｒと称する。
【００４８】
撮像素子１０１は、１水平ライン毎に有効画素領域１１１およびOPB領域１１２の画素値をA/D変換部１０２に供給する。撮像素子１０１は、１水平ライン上の各画素の画素値を、左から右に向かう順に出力する。例えば、水平ライン１１３を処理対象の水平ラインとすると、撮像素子１０１は、その水平ライン１１３上の、左OPB領域１１２Ｌの各画素値、有効画素領域１１１の各画素値、および、右OPB領域１１２Ｒの各画素値を、この順に出力する。撮像素子１０１は、このような１水平ライン毎の画素値の出力を、図中上から下に向かう順に１ラインずつ行う。
【００４９】
A/D変換部１０２は、撮像素子１０１から電気信号（アナログ信号）として供給される各画素値をデジタルデータ（画像データ）に変換する。A/D変換部１０２は、そのデジタルデータの画像データ（RAWデータ）をクランプ部１０３に供給する。
【００５０】
クランプ部１０３は、OPB領域１１２の画素値から黒レベルの基準値であるOPBレベルを求め、そのOPBレベルを用いて有効画素領域１１１の画素値の黒レベルを補正する。その際、クランプ部１０３は、左OPB領域１１２Ｌと右OPB領域１１２Ｒのそれぞれについて、OPBレベル（左OPBレベルと右OPBレベル）を決定する。これらのOPBレベル（左OPBレベルと右OPBレベル）が、実際に有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルの候補となる。
【００５１】
そして、クランプ部１０３は、左OPB領域１１２ＬのOPBレベルである左OPBレベルと、右OPB領域１１２ＲのOPBレベルである右OPBレベルとを比較し（候補の比較を行い）、少なくとも値が小さい方の候補を用いて、OPB領域１１２全体に対応するOPBレベルを決定する。このOPBレベルが実際に有効画素領域１１１の画素値の黒レベル補正に用いられる。
【００５２】
より具体的には、クランプ部１０３は、左OPBレベルと右OPBレベルとの差分値（候補同士の差分値）を求め、その候補の差分値と所定の閾値とを比較する。クランプ部１０３は、その候補の差分値が閾値より大きい場合、明らかに、値が大きい方のOPBレベルが浮き、値が小さい方のOPBレベルが浮いていないとし、値が小さい方のOPBレベルを用いてOPBレベルを決定する。つまり、値が小さい方の候補が実際に用いられるOPBレベルとして選択される。
【００５３】
また、差分値が閾値より小さい場合、クランプ部１０３は、左OPBレベルと右OPBレベルの両方を用いてOPBレベルを決定する。つまり、両方の候補を用いて実際のOPBレベルが決定される。クランプ部１０３は、有効画素領域１１１の各画素値の黒レベルをそのOPBレベルに合わせるように、画素値の補正を行う。
【００５４】
図３に示されるように、クランプ部１０３は、抽出部１２１、決定部１２２、比較部１２３、選択部１２４、および減算部１２５を有する。
【００５５】
抽出部１２１は、１水平ライン毎の画像データから、左OPB領域１１２Ｌの画素値、有効画素領域１１１の画素値、および右OPB領域１１２Ｒの画素値を抽出する。抽出部１２１は、抽出した左OPB領域１１２Ｌの画素値、および、右OPB領域１１２Ｒの画素値を決定部１２２に供給する。また、抽出部１２１は、抽出した有効画素領域１１１の画素値を減算部１２５に供給する。
【００５６】
決定部１２２は、抽出部１２１により抽出された左OPB領域１１２Ｌの画素値を用いて左OPBレベルを決定する。この左OPBレベルの決定方法は任意である。例えば、左OPB領域１１２Ｌの画素値の最小値、中央値、若しくは平均値、または、特定の画素の画素値等が左OPBレベルとされるようにしてもよい。
【００５７】
また、決定部１２２は、抽出部１２１により抽出された右OPB領域１１２Ｒの画素値を用いて右OPBレベルを決定する。この右OPBレベルの決定方法も、左OPBレベルの場合と同様に任意である。
【００５８】
つまり、決定部１２２は、複数の候補の決定を行う。決定部１２２は、決定した各候補（左OPBレベルおよび右OPBレベル）を、比較部１２３に供給する。
【００５９】
比較部１２３は、決定部１２２から供給された複数の候補（左OPBレベルおよび右OPBレベル）の大きさを比較する。より具体的には、比較部１２３は、左OPBレベルと右OPBレベルとの差分値を算出し、その差分値の大きさ（差分絶対値）を所定の閾値と比較する。つまり、比較部１２３は、左OPBレベルの大きさと右OPBレベルの大きさとが（各候補の大きさが）、どの程度異なるかを評価する。
【００６０】
この閾値は、予め設定されている。この閾値の大きさの具体的な水準は任意であるが、差分絶対値がこの閾値より大きい場合（若しくは、差分絶対値が閾値以上である場合）、明らかに、いずれかのOPBレベル（候補）において”浮き”が発生しているとみなすことができる程度の大きさとする。例えば、閾値は、実際に”浮き”が発生した状態におけるOPBレベルを参考にして設定される。
【００６１】
また、比較部１２３は、差分絶対値が閾値より大きい場合、さらに、差分値が正であるか負であるかを判定することにより、左OPBレベルと右OPBレベルのどちらが浮いているか（どの候補が浮いているか）を判定する。
【００６２】
比較部１２３は、このような比較結果、並びに、左OPBレベルおよび右OPBレベルを、選択部１２４に供給する。
【００６３】
選択部１２４は、比較部１２３から供給された比較結果に応じて、比較部１２３から供給された複数の候補（左OPBレベルおよび右OPBレベル）の内、少なくともいずれか１つを選択し、選択したOPBレベルを用いて有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルを求める。
【００６４】
例えば、差分値が正の場合、すなわち、左OPBレベルが浮いている場合、選択部１２４は、値が浮いていない右OPBレベルを、有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルとする。また、差分値が負の場合、すなわち、右OPBレベルの値が浮いている場合、選択部１２４は、値が浮いていない左OPBレベルを、有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルとする。
【００６５】
また、選択部１２４は、比較部１２３から供給された比較結果に基づいて、差分絶対値が閾値以下の場合（若しくは差分値が閾値より小さい場合）、左OPBレベルおよび右OPBレベルの両方（複数の候補）を用いて、有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルを決定する。この場合のOPBレベルの算出方法は任意である。例えば、左OPBレベルおよび右OPBレベルの平均値がOPBレベルとされるようにしてもよい。
【００６６】
選択部１２４は、求めたOPBレベルを減算部１２５に供給する。
【００６７】
減算部１２５は、抽出部１２１から供給された有効画素領域１１１の各画素値から、選択部１２４から供給されたOPBレベルを減算することにより、有効画素領域１１１の各画素値の黒レベルを補正する。
【００６８】
クランプ部１０３（減算部１２５）は、黒レベルを補正した画像データを撮像装置１００の外部に出力する。
【００６９】
［撮像処理の流れ］
図４のフローチャートを参照して、以上のような構成の撮像装置１００により実行される撮像処理の流れの例を説明する。
【００７０】
撮像処理が開始されると、撮像素子１０１は、ステップＳ１０１において、各画素のフォトダイオードが入射光を光電変換して蓄積された電荷を１水平ライン分読み出す。
【００７１】
ステップＳ１０２において、A/D変換部１０２は、ステップＳ１０１において読み出された１水平ライン分の画素信号をA/D変換する。
【００７２】
ステップＳ１０３において、クランプ部１０３は、クランプ処理を実行し、ステップＳ１０２においてA/D変換された画素信号に含まれる有効画素領域１１１の各画素値の黒レベルを補正する。
【００７３】
ステップＳ１０４において、撮像素子１０１は、全ての水平ラインについて電荷を読み出したか否かを判定する。未処理のラインが存在すると判定した場合、撮像素子１０１は、処理をステップＳ１０１に戻し、次の（１ライン下の）水平ラインについて上述した処理を繰り返す。また、ステップＳ１０４において、全ての水平ラインについて電荷を読み出したと判定した場合、撮像素子１０１は、撮像処理を終了する。
【００７４】
繰り返し撮像を行う場合や、動画像撮影の場合、撮像装置１００は、この撮像処理を繰り返し実行する。
【００７５】
［クランプ処理の流れ］
図５のフローチャートを参照して、図４のステップＳ１０３において実行されるクランプ処理の流れの例を説明する。
【００７６】
クランプ処理が開始されると、抽出部１２１は、ステップＳ１２１において、処理対象の水平ラインが有効画素領域１１１を含むラインであるか否かを判定する。処理対象の水平ラインに有効画素領域が含まれないと判定した場合、抽出部１２１は、クランプ処理を終了し、処理を図４に戻す。
【００７７】
また、ステップＳ１２１において、処理対象の水平ラインに有効画素領域が含まれると判定した場合、抽出部１２１は、処理をステップＳ１２２に進める。
【００７８】
ステップＳ１２２において、抽出部１２１は、A/D変換されたラインデータから左OPB領域の画素値を抽出する。
【００７９】
ステップＳ１２３において、決定部１２２は、ステップＳ１２２において抽出された画素値から左OPBレベルを決定する。
【００８０】
また、ステップＳ１２４において、抽出部１２１は、A/D変換されたラインデータから有効画素領域の画素値を抽出する。さらに、抽出部１２１は、ステップＳ１２５において、A/D変換されたラインデータから右OPB領域の画素値を抽出する。
【００８１】
ステップＳ１２６において、決定部１２２は、ステップＳ１２５の処理により抽出された画素値から右OPBレベルを決定する。
【００８２】
ステップＳ１２７において、比較部１２３は、ステップＳ１２３の処理により決定された左OPBレベルから、ステップＳ１２６の処理により決定された右OPBレベルを減算する。
【００８３】
ステップＳ１２８において、比較部１２３は、ステップＳ１２７において算出された差分値の絶対値（差分絶対値）が所定の閾値より大きいか否かを判定する。差分絶対値が閾値より大きいと判定した場合、比較部１２３は、左OPBレベル若しくは右OPBレベルに”浮き”が発生していると判定し、処理をステップＳ１２９に進める。
【００８４】
ステップＳ１２９において、比較部１２３は、ステップＳ１２７において算出された差分値が正であるか否かを判定する。差分値が正であると判定した場合、選択部１２４は、左OPBレベルに”浮き”が発生し、右OPBレベルに”浮き”が発生していないと判定し、処理をステップＳ１３０に進める。
【００８５】
ステップＳ１３０において、選択部１２４は、ステップＳ１２６において決定した右OPBレベル、すなわち、”浮き”が発生していない方をOPBレベルとし、処理をステップＳ１３３に進める。
【００８６】
また、ステップＳ１２９において、差分値が負であると判定した場合、選択部１２４は、右OPBレベルに”浮き”が発生し、左OPBレベルに”浮き”が発生していないと判定し、処理をステップＳ１３１に進める。
【００８７】
ステップＳ１３１において、選択部１２４は、ステップＳ１２３において決定した左OPBレベル、すなわち、”浮き”が発生していない方のOPBレベルをOPBレベルとし、処理をステップＳ１３３に進める。
【００８８】
さらに、ステップＳ１２８において、差分絶対値が閾値以下であると判定した場合、比較部１２３は、処理をステップＳ１３２に進める。この場合、左OPBレベルおよび右OPBレベルの両方において”浮き”が発生していないか、若しくは、左OPBレベルおよび右OPBレベルの両方において”浮き”が発生しているが、両者の値が近似している。
【００８９】
ステップＳ１３２において、選択部１２４は、左OPBレベルおよび右OPBレベルを用いてOPBレベルを求め、処理をステップＳ１３３に進める。
【００９０】
ステップＳ１３３において、減算部１２５は、ステップＳ１２４において抽出された有効画素領域の各画素値から、ステップＳ１３０乃至ステップＳ１３２のいずれかにおいて決定されたOPBレベルを減算し、黒レベルを補正する。ステップＳ１３３の処理が終了すると、減算部１２５は、クランプ処理を終了し、処理を図４に戻す。
【００９１】
以上のようにすることにより、撮像装置１００は、有効画素領域の左右に設けられたOPB領域のそれぞれのOPBレベルの内、値の小さい方を用いて、有効画素領域の黒レベル補正を行うことができる。つまり、例えば、太陽光のような強い光が照射されることにより一方のOPB領域に光の回り込みが発生する場合であっても、撮像装置１００は、光の回り込みが発生していない他方のOPB領域のOPBレベルを用いて、黒レベルの補正を行うことができる。したがって、撮像装置１００は、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【００９２】
なお、撮像素子１０１は、水平ライン毎に画素値を読み出すので、左右のOPB領域のOPBレベルを用いてクランプ処理を行うことにより、求めたOPBレベルをその水平ラインの画素値のクランプ処理に用いることができる。そのため、撮像装置１００は、求めたOPBレベルを、他の水平ラインの処理に用いられるまで保持する記憶部を省略することができ、コストや回路規模の増大を抑制することができる。
【００９３】
なお、ステップＳ１３２において、左OPBレベルおよび右OPBレベルの両方において”浮き”が発生していない場合、選択部１２４は、左OPBレベル若しくは右OPBレベル（いずれかの候補）をOPBレベルとしてもよい。また、左OPBレベルおよび右OPBレベルの両方において”浮き”が発生している（全ての候補において”浮き”が発生している）場合、選択部１２４は、クランプ処理を異常終了し、ユーザ等にエラー通知等を行うようにしてもよい。
【００９４】
さらに、差分値は、右OPBレベルから左OPBレベルを減算して算出するようにしてもよい。その場合、比較部１２３は、ステップＳ１２９において差分値が負であるか否かを判定し、差分値が負であれば処理をステップＳ１３０に進め、正であれば処理をステップＳ１３１に進めるようにすればよい。
【００９５】
［クランプ処理の流れの他の例］
以上においては、複数の候補（左OPBレベルと右OPBレベル）の大きさの比較を、それらの差分値を算出することにより行うように説明したが、比較の仕方は任意であり、これに限らない。例えば、両者の除算結果に基づいて、大きさの比較を行うようにしてもよい。
【００９６】
その場合、図３の比較部１２３が、減算の代わりに除算を行うようにすればよい。減算の場合、比較部１２３は、差分絶対値を閾値と比較することにより、左OPBレベルと右OPBレベルの値の違いの大きさを判定（すなわち、OPBレベルの”浮き”を検出）したが、除算の場合、比較部１２３は、除算結果が「１」若しくは、「１」近傍の値であるか否かによって、左OPBレベルと右OPBレベルの値の違いの大きさを判定（すなわち、OPBレベルの”浮き”を検出）することができる。
【００９７】
また、減算の場合、比較部１２３は、差分値が正か否かによって、左OPBレベルと右OPBレベルのいずれにおいて”浮き”が発生したかを検出していたが、除算の場合、比較部１２３は、除算結果が「１」より大きいか否かによって、左OPBレベルと右OPBレベルのいずれにおいて”浮き”が発生したかを検出することができる。
【００９８】
図６のフローチャートを参照して、この場合のクランプ処理の流れの例を説明する。この図６のフローチャートは、図５のフローチャートに対応する。したがって、図６のステップＳ１５１乃至ステップＳ１５６の各処理は、図５のステップＳ１２１乃至ステップＳ１２６の各処理と同様に実行される。
【００９９】
ステップＳ１５７において、比較部１２３は、ステップＳ１５３において決定された左OPBレベルを、ステップＳ１５６において決定された右OPBレベルで除算する。
【０１００】
ステップＳ１５８において、比較部１２３は、ステップＳ１５７の処理により得られた除算結果が「１」であるか、若しくは、「１」近傍の値であるか否かを判定する。なお、比較部１２３は、「１」近傍であるか否かを、予め定められた所定の基準に基づいて判定する。除算結果が「１」ではなく、かつ、「１」近傍の値でもないと判定された場合、比較部１２３は、左OPBレベル若しくは右OPBレベルに”浮き”が発生していると判定し、処理をステップＳ１５９に進める。
【０１０１】
ステップＳ１５９において、比較部１２３は、ステップＳ１５７の処理により得られた除算結果が「１」より大きいか否かを判定する。除算結果が「１」より大きいと判定した場合、比較部１２３は、左OPBレベルに”浮き”が発生し、右OPBレベルに”浮き”が発生していないと判定し、処理をステップＳ１６０に進める。
【０１０２】
ステップＳ１６０において、選択部１２４は、ステップＳ１５６において決定した右OPBレベル、すなわち、”浮き”が発生していない方のOPBレベルをOPBレベルとし、処理をステップＳ１６３に進める。
【０１０３】
また、ステップＳ１５９において、除算結果が「１」より小さいと判定した場合、比較部１２３は、右OPBレベルに”浮き”が発生し、左OPBレベルに”浮き”が発生していないと判定し、処理をステップＳ１６１に進める。
【０１０４】
ステップＳ１６１において、選択部１２４は、ステップＳ１５３において決定した左OPBレベル、すなわち、”浮き”が発生していない方のOPBレベルをOPBレベルとし、処理をステップＳ１６３に進める。
【０１０５】
さらに、ステップＳ１５８において、除算結果が「１」、若しくは、「１」近傍の値であると判定した場合、比較部１２３は、処理をステップＳ１６２に進める。この場合、左OPBレベルおよび右OPBレベルの両方において"浮き"が発生していないか、若しくは、左OPBレベルおよび右OPBレベルの両方において"浮き"が発生しているが、両者の値が近似している。
【０１０６】
ステップＳ１６２において、選択部１２４は、左OPBレベルおよび右OPBレベルを用いてOPBレベルを求め、処理をステップＳ１６３に進める。
【０１０７】
ステップＳ１６３において、減算部１２５は、ステップＳ１５４において抽出された有効画素領域の各画素値から、ステップＳ１６０乃至ステップＳ１６２のいずれかにおいて決定されたOPBレベルを減算し、黒レベルを補正する。ステップＳ１６３の処理が終了すると、減算部１２５は、クランプ処理を終了し、処理を図４に戻す。
【０１０８】
以上のように、撮像装置１００は、除算の場合も、減算の場合と同様に、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０１０９】
なお、ステップＳ１６２において、左OPBレベルおよび右OPBレベルの両方において"浮き"が発生していない場合、選択部１２４は、左OPBレベル若しくは右OPBレベルをOPBレベルとしてもよい。また、左OPBレベルおよび右OPBレベルの両方において"浮き"が発生している場合、選択部１２４は、クランプ処理を異常終了し、ユーザ等にエラー通知等を行うようにしてもよい。
【０１１０】
さらに、除算の際、右OPBレベルを左OPBレベルで除算するようにしてもよい。その場合、選択部１２４は、ステップＳ１５９において除算結果が「１」より小さいか否かを判定し、除算結果が「１」より小さければ処理をステップＳ１６０に進め、除算結果が「１」より大きければ処理をステップＳ１６１に進めるようにすればよい。
【０１１１】
［OPBレベルと閾値との比較］
以上においては、OPBレベル（候補）が浮いているか否かの判定を、減算や除算により、左OPBレベルと右OPBレベルの互いを基準として行うように説明したが、この判定方法は任意であり、上述した例に限らない。
【０１１２】
例えば、所定の閾値を基準として、各OPB領域のOPBレベル（各候補）が浮いているか否かを、個別に判定するようにしてもよい。
【０１１３】
図７を参照してより具体的に説明する。図７Ａの例においては、有効画素領域１１１の左OPB領域１１２Ｌ近傍に、太陽光のような強い光１３１が照射されている。この強い光１３１が左OPB領域１１２Ｌに侵入し、左OPB領域に光の回り込みが発生している。そのため、図７Ｂに示されるように、処理対象の水平ライン１１３上の、左OPB領域１１２Ｌの画素値から求められる左OPBレベル１４１は浮いてしまう（大きな値となる）。
【０１１４】
また、強い光１３１の照射位置と右OPB領域１１２Ｒとの距離は離れているので、強い光１３１は、右OPB領域１１２Ｒには侵入していない（光の回り込みは発生していない）。したがって、例えば図７Ｂに示されるように、処理対象の水平ライン１１３上の、右OPB領域１１２Ｒの画素値から求められる右OPBレベル１４２は浮かない（小さな値となる）。
【０１１５】
クランプ部１０３は、このような各OPB領域のOPBレベル（各候補）が浮いているか否か（光の回り込みが発生しているか否か）を、予め定められた所定の閾値（OPB Th）を基準として判定する。つまり、クランプ部１０３は、各候補（左OPBレベル１４１および右OPBレベル１４２）を、それぞれ、所定の閾値（OPB Th）と比較し、その値が閾値より大きい場合（若しくは、閾値以上である場合）、そのOPB領域に光の回り込みが発生していると判定する。
【０１１６】
［クランプ処理の流れ］
図８のフローチャートを参照して、この場合のクランプ処理の流れの例を説明する。このフローチャートは、図５若しくは図６のフローチャートに対応する。
【０１１７】
クランプ処理が開始されると、クランプ部１０３の抽出部１２１（図３）は、ステップＳ１８１において、処理対象の水平ラインが有効画素領域１１１を含むラインであるか否かを判定する。処理対象の水平ラインに有効画素領域１１１が含まれないと判定した場合、抽出部１２１は、クランプ処理を終了し、処理を図４に戻す。
【０１１８】
また、ステップＳ１８１において、処理対象の水平ラインに有効画素領域１１１が含まれると判定した場合、抽出部１２１は、処理をステップＳ１８２に進める。
【０１１９】
抽出部１２１は、ステップＳ１８２において、A/D変換されたラインデータから左OPB領域１１２Ｌの画素値を抽出する。
【０１２０】
ステップＳ１８３において、決定部１２２は、ステップＳ１８２において抽出された画素値から左OPBレベル１４１を決定する。この場合も左OPBレベルの決定方法は任意である。
【０１２１】
ステップＳ１８４において、比較部１２３は、ステップＳ１８２において決定された左OPBレベル１４１を所定の閾値（OPB Th）と比較し、左OPBレベル１４１が閾値より大きいか否かを判定する。
【０１２２】
左OPBレベル１４１が所定の閾値より大きくないと判定した場合、比較部１２３は、処理をステップＳ１８５に進める。ステップＳ１８５において、選択部１２４は、左OPBレベル１４１をOPBレベルとする。ステップＳ１８６において、抽出部１２１は、ラインデータから有効画素領域１１１の画素値を抽出する。ステップＳ１８６の処理が終了すると、抽出部１２１は、処理をステップＳ１９３に進める。
【０１２３】
また、ステップＳ１８４において、左OPBレベル１４１が所定の閾値より大きく、左OPB領域１１２Ｌにおいて光の回り込みが発生したと判定した場合、比較部１２３は、処理をステップＳ１８７に進める。
【０１２４】
ステップＳ１８７において、抽出部１２１は、A/D変換されたラインデータから有効画素領域１１１の画素値を抽出する。ステップＳ１８８において、抽出部１２１は、A/D変換されたラインデータから右OPB領域１１２Ｒの画素値を抽出する。ステップＳ１８９において、決定部１２２は、抽出された画素値から右OPBレベル１４２を決定する。
【０１２５】
ステップＳ１９０において、比較部１２３は、右OPBレベル１４２が所定の閾値（OPB Th）より大きいか否かを判定する。この場合も、左OPBレベルの場合と同様に、比較の方法や判定基準は任意である。右OPBレベル１４２が所定の閾値以下であり、右OPB領域１１２Ｒにおいて光の回り込みが発生していないと判定した場合、比較部１２３は、処理をステップＳ１９１に進める。
【０１２６】
ステップＳ１９１において、選択部１２４は、右OPBレベル１４２をOPBレベルとする。ステップＳ１８９の処理が終了すると、選択部１２４は、処理をステップＳ１９３に進める。
【０１２７】
また、ステップＳ１９０において、右OPBレベル１４２が所定の閾値より大きく、右OPB領域１１２Ｒにおいても光の回り込みが発生すると判定した場合、比較部１２３は、処理をステップＳ１９２に進める。
【０１２８】
ステップＳ１９２において、選択部１２４は、左OPBレベル１４１および右OPBレベル１４２を用いてOPBレベルを求める。このOPBレベルの算出方法は任意である。ステップＳ１９２の処理が終了すると、選択部１２４は、処理をステップＳ１９３に進める。
【０１２９】
ステップＳ１９３において、減算部１２５は、抽出された有効画素領域１１１の各画素値から、算出されたOPBレベルを減算し、黒レベルを補正する。ステップＳ１９３の処理が終了すると、減算部１２５は、クランプ処理を終了し、処理を図４に戻す。
【０１３０】
以上のようにすることにより、撮像装置１００は、図３乃至図６を参照して説明した場合と同様に、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０１３１】
なお、上述した各処理において、左OPB領域と右OPB領域とを入れ替えてもよい。つまり、先に右OPB領域の画素値を判定するようにしてもよい。
【０１３２】
また、左右のOPB領域の両方において光の回り込みが発生している場合、撮像装置１００が、クランプ処理を異常終了し、エラー通知等を行うようにしてもよい。
【０１３３】
さらに、OPB領域毎に求めたOPBレベル（各候補）を、その値の大きさに関わらず互いに比較し、値が最小のOPBレベルを、有効画素領域１１１の画素値の黒レベル補正に用いるOPBレベルとするようにしてもよい。この場合、少なくとも１つのOPB領域において画素値の浮きが発生していないことが前提となるが、撮像装置１００は、上述した各方法よりも容易にOPBレベルを決定することができる。
【０１３４】
＜２．第２の実施の形態＞
［縦に配置されたOPB領域の利用］
なお、有効画素領域の黒レベルの補正に用いるOPBレベルは、OPB領域の、処理対象の水平ライン以外に位置する画素の画素値から求めたOPBレベル（候補）を用いて求めるようにしてもよい。
【０１３５】
図９Ａに示されるように、有効画素領域１１１の図中上側のOPB領域を上OPB領域１１２Ｔと称し、有効画素領域１１１の図中下側のOPB領域を下OPB領域１１２Ｂと称する。例えば、上述した左OPB領域１１２Ｌおよび右OPB領域１１２Ｒの代わりに、有効画素領域１１１の上下に位置する上OPB領域１１２Ｔおよび下OPB領域１１２ＢのOPBレベル（候補）を用いて黒レベルの補正を行うOPBレベルを決定するようにしてもよい。ただし、この場合、求められた各候補や、各候補から求められたOPBレベルは、他の水平ラインの処理に用いられるので、それまで保持する必要がある。
【０１３６】
例えば、上OPB領域１１２ＴのOPBレベル（上OPBレベル（OPB.top））は、図９Ａに示されるように、上OPB領域１１２Ｔ内の画素を含む水平ライン１５１の画素値から求められる。この水平ライン１５１には、有効画素領域１１１の画素は含まれないので、上OPBレベルは、この水平ライン１５１上の処理には使用できない。したがって、この上OPBレベル（候補）は、記憶部等に保持される。
【０１３７】
また、例えば、下OPB領域１１２ＢのOPBレベル（下OPBレベル（OPB.bottom））は、図９Ｂに示されるように、下OPB領域１１２Ｂ内の画素を含む水平ライン１５２の画素値から求められる。この水平ライン１５２には、有効画素領域１１１の画素は含まれないので、下OPBレベルは、この水平ライン１５２上の処理には使用できない。したがって、この下OPBレベル（候補）は、記憶部等に保持される。
【０１３８】
さらに、これらの候補から求められる、実際に使用されるOPBレベルも、水平ライン１５１や水平ライン１５２上の処理には使用できないので、記憶部等に保持される。
【０１３９】
図９Ｃに示される水平ライン１５３のような、有効画素領域１１１の画素を含む水平ラインが読み出されると、その水平ライン１５３に含まれる有効画素領域１１１の画素値の黒レベルの補正に、上述したOPBレベルが記憶部等から読み出され、使用される。
【０１４０】
このように、上下のOPBレベルを使用する場合、３水平ライン以上の読み出しが必要になる。また、求めた各候補や各候補から求められたOPBレベル等は、使用されるまで保持する必要がある。
【０１４１】
［撮像装置］
図１０は、この場合の撮像装置の主な構成例を示す図である。図１０に示される撮像装置２００は、図３の撮像装置１００と基本的に同様の装置であり、同様の処理を行う。ただし、撮像装置２００は、クランプ部１０３の代わりにクランプ部２０３を有する。
【０１４２】
クランプ部２０３は、OPBレベル決定部２２１、OPBレベル記憶部２２２、抽出部２２３、および減算部２２４を有する。
【０１４３】
OPBレベル決定部２２１は、有効画素領域１１１の画素値の黒レベルの補正に用いられるOPBレベルを決定するOPBレベル決定処理を行う。OPBレベル決定部２２１は、A/D変換部１０２から供給される、上OPB領域１１２Ｔの画素を含むラインデータ、および、下OPB領域１１２Ｂの画素を含むラインデータを取得すると、それらを用いてOPBレベルを決定する。例えば、OPBレベル決定部２２１は、水平ライン１５１のデータから上OPBレベル（候補）を決定し、水平ライン１５２のデータから下OPBレベル（候補）を決定し、決定した上OPBレベルおよび下OPBレベル（各候補）を用いてOPBレベルを決定する。OPBレベル決定部２２１は、決定したOPBレベルをOPBレベル記憶部２２２に供給する。
【０１４４】
OPBレベル記憶部２２２は、OPBレベル決定部２２１が決定したOPBレベルを記憶し、所定のタイミングにおいて、記憶しているOPBレベルを減算部２２４に供給する。より具体的には、OPBレベル記憶部２２２は、有効画素領域１１１の画素を含むラインデータの処理の際に、記憶しているOPBレベルを減算部２２４に供給する。
【０１４５】
なお、通常の場合、画素値は、図中上から下に向かう順に１水平ラインずつ読み出される。つまり、上OPB領域１１２Ｔの画素を含む水平ライン１５１、有効画素領域１１１の画素を含む水平ライン１５３、下OPB領域１１２Ｂの画素を含む水平ライン１５２の順に読み出される。したがって、この順で各画素値が読み出される場合、有効画素領域１１１の画素を含む水平ライン１５３も、OPBレベルが決定されるまで保持する必要がある。つまり、水平ライン１５３用の記憶部が必要になる。
【０１４６】
もちろん、このような構成でも構わないが、撮像装置２００では、有効画素領域１１１の画素を含む水平ライン１５３が読み出される前に、上OPB領域１１２Ｔの画素を含む水平ライン１５１と、下OPB領域１１２Ｂの画素を含む水平ライン１５２とが読み出されるものとし、水平ライン１５３用の記憶部を省略する。
【０１４７】
抽出部２２３は、A/D変換部１０２から供給される、有効画素領域１１１の画素を含むラインデータから、有効画素領域１１１の画素値を抽出し、それを減算部２２４に供給する。例えば、抽出部２２３は、水平ライン１５３のデータから有効画素領域１１１の画素値を抽出する。
【０１４８】
減算部２２４は、抽出部２２３から供給された有効画素領域１１１の各画素値から、OPBレベル記憶部２２２から供給されたOPBレベルを減算することにより、有効画素領域１１１の各画素値の黒レベルを補正する。
【０１４９】
クランプ部２０３（減算部２２４）は、黒レベルを補正した画像データを撮像装置２００の外部に出力する。
【０１５０】
［OPBレベル決定部］
図１１は、図１０のOPBレベル決定部２２１の主な構成例を示すブロック図である。
【０１５１】
図１１に示されるように、OPBレベル決定部２２１は、上OPBレベル決定部２４１、上OPBレベル記憶部２４２、下OPBレベル決定部２４３、下OPBレベル記憶部２４４、比較部２４５、および選択部２４６を有する。
【０１５２】
撮像素子１０１が水平ライン毎に画素値を読み出すと、A/D変換部１０２は、その電気信号（アナログ信号）として供給される各画素値をA/D変換し、デジタルデータとして、クランプ部２０３に供給する。
【０１５３】
上OPBレベル決定部２４１は、A/D変換部１０２から供給される各ラインデータの内、上OPB領域１１２Ｔの画素を含む水平ラインのデータを取得する。上OPBレベル決定部２４１は、取得した上OPB領域１１２Ｔの画素値を用いて上OPB領域１１２ＴのOPBレベルである上OPBレベル（候補）を決定する。この上OPBレベルの決定方法は任意である。例えば、上OPB領域１１２Ｔの画素値の最小値、中央値、若しくは平均値、または、特定の画素の画素値等が上OPBレベルとされるようにしてもよい。上OPB領域１１２Ｔが複数の水平ライン分の画素よりなる場合、上OPBレベル決定部２４１は、その全ての水平ラインの画素値を用いて上OPBレベルを決定するようにしてもよいし、一部の水平ラインの画素値を用いて上OPBレベルを決定するようにしてもよい。上OPBレベル決定部２４１は、決定した上OPBレベルを上OPBレベル記憶部２４２に供給する。
【０１５４】
上OPBレベル記憶部２４２は、上OPBレベル決定部２４１から供給された上OPBレベル（候補）を記憶する。上OPBレベル記憶部２４２は、記憶している上OPBレベルを、所定のタイミングにおいて比較部２４５に供給する。
【０１５５】
下OPBレベル決定部２４３は、A/D変換部１０２から供給される各ラインデータの内、下OPB領域１１２Ｂの画素を含む水平ラインのデータを取得する。下OPBレベル決定部２４３は、供給された下OPB領域１１２Ｂの画素値を用いて下OPB領域１１２ＢのOPBレベルである下OPBレベル（候補）を決定する。この下OPBレベルの決定方法は任意である。例えば、下OPB領域１１２Ｂの画素値の最小値、中央値、若しくは平均値、または、特定の画素の画素値等が下OPBレベルとされるようにしてもよい。下OPB領域１１２Ｂが複数の水平ライン分の画素よりなる場合、下OPBレベル決定部２４３は、その全ての水平ラインの画素値を用いて下OPBレベルを決定するようにしてもよいし、一部の水平ラインの画素値を用いて下OPBレベルを決定するようにしてもよい。下OPBレベル決定部２４３は、決定した下OPBレベルを下OPBレベル記憶部２４４に供給する。
【０１５６】
下OPBレベル記憶部２４４は、下OPBレベル決定部２４３から供給された下OPBレベル（候補）を記憶する。下OPBレベル記憶部２４４は、記憶している下OPBレベルを、所定のタイミングにおいて比較部２４５に供給する。
【０１５７】
比較部２４５は、上OPBレベル記憶部２４２から供給された上OPBレベルと、下OPBレベル記憶部２４４から供給された下OPBレベルの大きさ（複数の候補の大きさ）を比較する。より具体的には、比較部２４５は、上OPBレベルと下OPBレベルとの差分値（各候補の差分値）を算出し、その差分値の大きさ（差分絶対値）を所定の閾値と比較する。つまり、比較部２４５は、上OPBレベルの大きさと下OPBレベルの大きさとが、どの程度異なるかを評価する。
【０１５８】
この閾値は、予め設定されている。この閾値の大きさの具体的な水準は任意であるが、差分絶対値がこの閾値より大きい場合（若しくは、差分絶対値が閾値以上である場合）、明らかに、いずれかのOPBレベルにおいて"浮き"が発生しているとみなすことができる程度の大きさとする。例えば、閾値は、実際に"浮き"が発生した状態におけるOPBレベルを参考にして設定される。
【０１５９】
また、比較部２４５は、差分絶対値が閾値より大きい場合、さらに、差分値が正であるか負であるかを判定することにより、上OPBレベルと下OPBレベルのどちらが浮いているか（いずれの候補が浮いているか）を判定する。
【０１６０】
比較部２４５は、このような比較結果、並びに、上OPBレベルおよび下OPBレベルを、選択部２４６に供給する。
【０１６１】
選択部２４６は、比較部２４５から供給された比較結果に応じて、比較部２４５から供給された複数の候補（上OPBレベルおよび下OPBレベル）の内、少なくともいずれか１つを選択し、選択したOPBレベルを用いて有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルを求める。
【０１６２】
例えば、差分値が正の場合、すなわち、上OPBレベルが浮いている場合、選択部２４６は、値が浮いていない下OPBレベルを、有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルとする。また、差分値が負の場合、すなわち、下OPBレベルの値が浮いている場合、選択部２４６は、値が浮いていない上OPBレベルを、有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルとする。
【０１６３】
また、選択部２４６は、比較部２４５から供給された比較結果に基づいて、差分絶対値が閾値以下の場合（若しくは差分値が閾値より小さい場合）、上OPBレベルおよび下OPBレベルの両方（複数の候補）を用いて、有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルを決定する。この場合のOPBレベルの算出方法は任意である。例えば、上OPBレベルおよび下OPBレベルの平均値がOPBレベルとされるようにしてもよい。
【０１６４】
また、選択部１２４は、比較部１２３から供給された比較結果に基づいて、差分絶対値が閾値以下の場合（若しくは差分値が閾値より小さい場合）、左OPBレベルおよび右OPBレベルの両方（複数の候補）を用いて、有効画素領域１１１の画素値の黒レベル補正に用いられるOPBレベルを決定する。この場合のOPBレベルの算出方法は任意である。例えば、左OPBレベルおよび右OPBレベルの平均値がOPBレベルとされるようにしてもよい。
【０１６５】
選択部２４６は、求めたOPBレベルをOPBレベル記憶部２２２に供給する。
【０１６６】
［撮像処理の流れ］
図１２のフローチャートを参照して、以上のような撮像装置２００により実行される撮像処理の流れの例を説明する。
【０１６７】
撮像処理が開始されると、撮像素子１０１、A/D変換部１０２、および、クランプ部２０３のOPBレベル決定部２２１は、ステップＳ２０１において、OPBレベル決定処理を行い、OPBレベルを決定する。
【０１６８】
ステップＳ２０２において、OPBレベル記憶部２２２は、ステップＳ２０１において決定されたOPBレベルを記憶する。
【０１６９】
ステップＳ２０３において、撮像素子１０１は、入射光を光電変換して蓄積された電荷を、有効画素領域１１１を含む１ライン分読み出す。
【０１７０】
ステップＳ２０４において、A/D変換部１０２は、ステップＳ２０３において読み出された電荷の信号である画素信号をA/D変換する。
【０１７１】
ステップＳ２０５において、抽出部２２３は、ステップＳ２０４においてデジタル化されたラインデータから、有効画素領域１１１の画素値を抽出する。
【０１７２】
ステップＳ２０６において、減算部２２４は、ステップＳ２０５において抽出された有効画素領域１１１の画素値から、ステップＳ２０２において記憶されたOPBレベルを減算し、有効画素領域１１１の画素値の黒レベルを補正する。
【０１７３】
ステップＳ２０７において、撮像素子１０１は、全ての水平ラインについて電荷を読み出したか否かを判定する。未処理のラインが存在すると判定した場合、撮像素子１０１は、処理をステップＳ２０３に戻し、次の（１ライン下の）水平ラインについて上述した処理を繰り返す。また、ステップＳ２０７において、全ての水平ラインについて電荷を読み出したと判定した場合、撮像素子１０１は、撮像処理を終了する。
【０１７４】
繰り返し撮像を行う場合や、動画像撮影の場合、撮像装置１００は、この撮像処理を繰り返し実行する。
【０１７５】
［OPBレベル決定処理の流れ］
次に、図１３のフローチャートを参照して、図１２のステップＳ２０１において実行されるOPBレベル決定処理の流れの例を説明する。
【０１７６】
OPBレベル決定処理が開始されると、撮像素子１０１は、ステップＳ２２１において、上OPB領域の電荷を水平ライン毎に読み出す。このとき撮像素子１０１が読み出すライン数は任意であり、１ラインであっても良いし、複数ラインであってもよい。
【０１７７】
ステップＳ２２２において、A/D変換部１０２は、ステップＳ２２１において読み出された水平ラインの画素信号をA/D変換する。
【０１７８】
ステップＳ２２３において、上OPBレベル決定部２４１は、ステップＳ２２２においてA/D変換された上OPB領域１１２Ｔの画素値を用いて上OPBレベルを決定する。
【０１７９】
ステップＳ２２４において、上OPBレベル記憶部２４２は、ステップＳ２２３において決定された上OPBレベルを記憶する。
【０１８０】
ステップＳ２２５において、撮像素子１０１は、下OPB領域の電荷を水平ライン毎に読み出す。このとき撮像素子１０１が読み出すライン数は任意であり、１ラインであっても良いし、複数ラインであってもよい。
【０１８１】
ステップＳ２２６において、A/D変換部１０２は、ステップＳ２２５において読み出された水平ラインの画素信号をA/D変換する。
【０１８２】
ステップＳ２２７において、下OPBレベル決定部２４３は、ステップＳ２２６においてA/D変換された下OPB領域１１２Ｂの画素値を用いて下OPBレベルを決定する。
【０１８３】
ステップＳ２２８において、下OPBレベル記憶部２４４は、ステップＳ２２７において決定された下OPBレベルを記憶する。
【０１８４】
ステップＳ２２９乃至ステップＳ２３４の各処理は、図５のステップＳ１２７乃至ステップＳ１３２の各処理と、左OPBレベルを上OPBレベルとし、右OPBレベルを下OPBレベルとすること以外、同様に実行される。なお、比較部１２３が行う処理は、比較部２４５が行い、選択部１２４が行う処理は、選択部２４６が行う。
【０１８５】
ステップＳ２３２乃至ステップＳ２３４のいずれかにおいてOPBレベルを決定すると、選択部２４６は、OPBレベル決定処理を終了し、処理を図１２に戻す。
【０１８６】
以上のようにすることにより、撮像装置２００は、有効画素領域の上下に設けられたOPB領域のそれぞれのOPBレベル（複数の候補）の内、値の小さい方を用いて、有効画素領域の黒レベル補正を行うことができる。つまり、撮像装置２００は、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０１８７】
なお、差分値は、下OPBレベルから上OPBレベルを減算して算出するようにしてもよい。その場合、選択部２４６は、ステップＳ２３１において差分値が負であるか否かを判定し、差分値が負であれば処理をステップＳ２３２に進め、正であれば処理をステップＳ２３３に進めるようにすればよい。
【０１８８】
また、第１の実施の形態の場合と同様に、上OPBレベルと下OPBレベルの大きさの比較を、それらの差分値を算出することにより行うように説明したが、比較の仕方は任意であり、これに限らない。例えば、両者の除算結果に基づいて、各候補の大きさの比較を行うようにしてもよい。
【０１８９】
その場合、図５のフローチャートに対する図６のフローチャートのように、図１３のステップＳ２２９乃至ステップＳ２３４の各処理を、図６のステップＳ１５７乃至ステップＳ１６２の各処理に置き換えればよい。ただし、図１３の場合と同様に、左OPBレベルは上OPBレベルとし、右OPBレベルは下OPBレベルとする。また、比較部１２３が行う処理は、比較部２４５が行い、選択部１２４が行う処理は、選択部２４６が行う。
【０１９０】
このように、撮像装置２００は、除算の場合も、減算の場合と同様に、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０１９１】
［閾値を用いたOPBレベル決定］
以上においては、OPBレベルが浮いているか否かの判定を、減算や除算により、上OPBレベルと下OPBレベルの互いを基準として行うように説明したが、第１の実施の形態の場合と同様に、この判定方法は任意であり、上述した例に限らない。
【０１９２】
例えば、所定の閾値を基準として、各OPB領域のOPBレベル（各候補）が浮いているか否かを、個別に判定するようにしてもよい。
【０１９３】
図１４Ａに示されるように、有効画素領域１１１に照射される太陽光のような強い光２６１がOPB領域に侵入すると、図１４Ｂに示されるように、OPB領域の画素値が大きくなる（浮く）場合がある。
【０１９４】
図１４Ａの例の場合、有効画素領域１１１の上OPB領域１１２Ｔ近傍に強い光２６１が照射されており、上OPB領域１１２Ｔに光の回り込みが発生している。そのため、例えば図１４Ｂに示されるように、上OPB領域１１２Ｔの画素値から求められる上OPBレベル２７１は浮いてしまう（大きな値となる）。
【０１９５】
また、強い光２６１の照射位置と下OPB領域１１２Ｂとの距離は離れているので、強い光２６１は、下OPB領域１１２Ｂには侵入していない（光の回り込みは発生していない）。したがって、例えば図１４Ｂに示されるように、下OPB領域１１２Ｂの画素値から求められる下OPBレベル２７２は浮かない（小さな値となる）。
【０１９６】
OPBレベル決定部２２１は、このような各OPB領域のOPBレベルが浮いているか否か（光の回り込みが発生しているか否か）を、予め定められた所定の閾値（OPB Th）を基準として、それぞれ判定する。つまり、OPBレベル決定部２２１は、各候補（上OPBレベル２７１および下OPBレベル２７２）を、それぞれ、所定の閾値（OPB Th）と比較し、その値が閾値より大きい場合（若しくは、閾値以上である場合）、そのOPB領域に光の回り込みが発生していると判定する。
【０１９７】
［OPBレベル決定部］
図１５は、この場合のOPBレベル決定部２２１の主な構成例を示すブロック図である。図１５に示されるように、この場合のOPBレベル決定部２２１は、上OPBレベル決定部２８１、閾値比較部２８２、下OPBレベル決定部２８３、閾値比較部２８４、および選択部２８５を有する。
【０１９８】
上OPBレベル決定部２８１は、A/D変換部１０２から供給される各ラインデータの内、上OPB領域１１２Ｔの画素を含む水平ラインのデータを取得し、そのラインデータに含まれる上OPB領域１１２Ｔの画素値を用いて上OPBレベル２７１（候補）を算出する。上OPBレベル決定部２８１は、算出した上OPBレベル２７１をを閾値比較部２８２に供給する。
【０１９９】
閾値比較部２８２は、上OPBレベル（候補）が浮いているか否か（上OPB領域１１２Ｔに光の回り込みが発生しているか否か）を、予め定められた所定の閾値を基準として判定する。つまり、閾値比較部２８２は、上OPBレベル決定部２８１から供給された上OPBレベル２７１を、予め定められた所定の閾値と比較する。
【０２００】
上OPBレベル２７１が閾値以下である（若しくは閾値より小さい）と判定した場合、閾値比較部２８２は、上OPB領域１１２Ｔにおいて光の回り込みが発生していないと判定し、上OPBレベル２７１を選択部２８５に供給する。
【０２０１】
また、上OPBレベル２７１が閾値より大きい（若しくは閾値以上である）と判定した場合、閾値比較部２８２は、上OPB領域１１２Ｔにおいて光の回り込みが発生していると判定し、上OPBレベル２７１を選択部２８５に供給するとともに、下OPBレベル決定部２８３を制御し、下OPB領域の電荷を取得させる。
【０２０２】
下OPBレベル決定部２８３は、A/D変換部１０２から供給される各ラインデータの内、下OPB領域１１２Ｂの画素を含む水平ラインのデータを取得し、そのラインデータに含まれる下OPB領域１１２Ｂの画素値を用いて下OPBレベル２７２（候補）を算出する。下OPBレベル決定部２８３は、算出した下OPBレベル２７２をを閾値比較部２８４に供給する。
【０２０３】
閾値比較部２８４は、下OPBレベル２７２が浮いているか否か（光の回り込みが発生しているか否か）を、予め定められた所定の閾値を基準として判定する。つまり、閾値比較部２８４は、下OPBレベル決定部２８３から供給された下OPBレベル２７２を、予め定められた所定の閾値と比較する。
【０２０４】
閾値比較部２８４は、その比較結果と下OPBレベル２７２とを選択部２８５に供給する。
【０２０５】
選択部２８５は、有効画素領域１１１の画素値の黒レベルの補正に用いられるOPBレベルを選択する（いずれかの候補を選択する）。例えば、閾値比較部２８２からのみ上OPBレベル２７１が供給される場合、選択部２８５は、上OPBレベル２７１は浮いていないと判定し、その上OPBレベル２７１を用いてOPBレベルを決定する。
【０２０６】
また、例えば、閾値比較部２８４から供給された比較結果に基づいて、下OPBレベルが閾値以下である（若しくは閾値より小さい）と判定した場合、選択部２８５は、下OPBレベルは浮いていないと判定し、閾値比較部２８４から供給された下OPBレベルを用いてOPBレベルを決定する。
【０２０７】
さらに、例えば、閾値比較部２８４から供給された比較結果に基づいて、下OPBレベルが閾値より大きい（若しくは閾値以上である）と判定した場合、選択部２８５は、上OPBレベルおよび下OPBレベルを用いてOPBレベルを決定する。
【０２０８】
選択部２８５は、決定したOPBレベルをOPBレベル記憶部２２２に供給し、記憶させる。
【０２０９】
［OPBレベル決定処理の流れ］
図１６のフローチャートを参照して、この場合のOPBレベル決定処理の流れの例を説明する。OPBレベル決定処理が開始されると、撮像素子１０１は、ステップＳ２５１において、上OPB領域の電荷を水平ライン毎に読み出す。このとき撮像素子１０１が読み出すライン数は任意であり、１ラインであっても良いし、複数ラインであってもよい。
【０２１０】
ステップＳ２５２において、A/D変換部１０２は、ステップＳ２５１において読み出された水平ラインの画素信号をA/D変換する。
【０２１１】
ステップＳ２５３において、上OPBレベル決定部２８１は、A/D変換部１０２から供給されたラインデータを用いて上OPBレベル２７１を決定する。
【０２１２】
ステップＳ２５４において、閾値比較部２８２は、ステップＳ２５３において決定された上OPBレベル２７１を所定の閾値と比較し、その画素値が閾値より大きいか否かを判定する。
【０２１３】
上OPBレベル２７１が所定の閾値以下であり、上OPB領域１１２Ｔにおいて光の回り込みが発生していないと判定した場合、閾値比較部２８２は、処理をステップＳ２５５に進める。
【０２１４】
ステップＳ２５５において、選択部２８５は、光の回り込みが発生していない上OPBレベル２７１をOPBレベルとする。ステップＳ２５５の処理が終了すると、選択部２８５は、OPBレベル決定処理を終了し、処理を図１２に戻す。
【０２１５】
また、図１６のステップＳ２５４において、上OPBレベル２７１が所定の閾値より大きく、上OPB領域１１２Ｔにおいて光の回り込みが発生していると判定した場合、閾値比較部２８２は、処理をステップＳ２５６に進める。
【０２１６】
撮像素子１０１は、ステップＳ２５６において、下OPB領域１１２Ｂの電荷を水平ライン毎に読み出す。このとき撮像素子１０１が読み出すライン数は任意であり、１ラインであっても良いし、複数ラインであってもよい。
【０２１７】
ステップＳ２５７において、A/D変換部１０２は、ステップＳ２５６において読み出された水平ラインの画素信号をA/D変換する。ステップＳ２５８において、下OPBレベル決定部２８３は、下OPBレベルを決定する。
【０２１８】
ステップＳ２５９において、閾値比較部２８４は、ステップＳ２５７においてA/D変換された下OPBレベル２７２を所定の閾値と比較し、その画素値が閾値より大きいか否かを判定する。この場合も、上OPB領域１１２Ｔの画素値の場合と同様に、比較の方法や判定基準は任意である。
【０２１９】
下OPBレベル２７２が所定の閾値以下であり、下OPB領域１１２Ｂにおいて光の回り込みが発生していないと判定した場合、閾値比較部２８４は、処理をステップＳ２６０に進める。
【０２２０】
ステップＳ２６０において、選択部２８５は、光の回り込みが発生していない下OPBレベル２７２をOPBレベルとする。このOPBレベルの算出方法は、上OPBレベル２７１の場合と同様に、任意である。
【０２２１】
ステップＳ２６０の処理が終了すると、選択部２８５は、OPBレベル決定処理を終了し、処理を図１２に戻す。
【０２２２】
また、図１６のステップＳ２５９において、下OPBレベル２７２が所定の閾値より大きく、下OPB領域１１２Ｂにおいて光の回り込みが発生していると判定した場合、閾値比較部２８４は、処理をステップＳ２６１に進める。
【０２２３】
ステップＳ２６１において、選択部２８５は、上OPBレベル２７１および下OPBレベル２７２を用いてOPBレベルを求める。このOPBレベルの算出方法は、上OPBレベル２７１の場合と同様に、任意である。
【０２２４】
ステップＳ２６１の処理が終了すると、選択部２８５は、OPBレベル決定処理を終了し、処理を図１２に戻す。
【０２２５】
以上のようにすることにより、撮像装置２００は、図９乃至図１３を参照して説明した場合と同様に、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０２２６】
なお、以上においては、撮像素子１０１が裏面照射型のCMOSイメージセンサであるように説明したが、撮像素子１０１は、これに限らず、OPB領域を有する撮像素子であればどのようなものであってもよい。例えば、表面照射型のCMOSイメージセンを撮像素子１０１としてもよい。また、例えば、CCDイメージセンサ等を撮像素子１０１としてもよい。
【０２２７】
さらに、以上においては、２つのOPB領域のいずれか一方のOPBレベルを選択し、その選択したOPBレベルを用いてクランプ処理を行うように説明したが、クランプ処理に用いるOPBレベルの候補を決定するOPB領域の数は、複数であればよく、例えば３つ以上であってもよい。例えば、有効画素領域１１１の上下左右に配置される４つのOPB領域のそれぞれにおいて決定される候補の内、値が最も低い物が、クランプ処理に用いるOPBレベルとして選択されるようにしてもよい。
【０２２８】
また、各OPB領域の位置は、有効画素領域１１１の上下左右に限らず、任意である。例えば、有効画素領域の上に位置する領域と左に位置する領域とが用いられるようにしてもよい。また、例えば、有効画素領域１１１の右上に位置するOPB領域と左上に位置するOPB領域のように、有効画素領域１１１の画素を含まない水平ライン上の画素が複数のOPB領域に分割されるようにしてもよい。
【０２２９】
つまり、本技術を適用した撮像装置は、OPB領域の互いに異なる複数の位置の画素値に基づいてOPBレベルの候補を求め、それらの中で値が最も小さいものをOPBレベルとして選択し、その選択されたOPBレベルを用いて有効画素領域の黒レベルの補正を行う。したがって、本技術を適用した撮像装置は、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０２３０】
さらに、本技術は、上述した構成以外の構成を含む装置にも適用することができる。
【０２３１】
＜３．第３の実施の形態＞
［撮像装置］
図１７は、本技術を適用した撮像装置の構成例を示す図である。図１７に示される撮像装置３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【０２３２】
図１７に示されるように撮像装置３００は、レンズ３０１、絞り３０２、撮像素子３０３、A/D変換部３０４、クランプ部３０５、混色低減部３０６、および欠陥補正部３０７を有する。また、撮像装置３００は、デモザイク部３０８、リニアマトリクス部３０９、ガンマ補正部３１０、輝度クロマ信号生成部３１１、およびインターフェイス（I/F）部３１２を有する。
【０２３３】
レンズ３０１は、撮像素子３０３に照射する入射光の焦点距離の調整を行う。絞り３０２は、撮像素子３０３に照射する入射光の光量調整を行う。レンズ３０１および絞り３０２は、光学系の処理部を表しており、具体的な構成は任意である。例えば、レンズ３０１が複数のレンズにより構成されていてもよい。
【０２３４】
図１７において点線矢印で示されるように、レンズ３０１および絞り３０２を透過した入射光は、撮像素子３０３に照射する。
【０２３５】
撮像素子３０３は、図３または図１０の撮像素子１０１と同様の撮像素子であり、有効画素領域の外部（上下若しくは左右、またはその両方）にOPB領域を有する。撮像素子３０３は、有効画素領域およびOPB領域の各画素のフォトダイオードに蓄積された電荷を電気信号としてA/D変換部３０４に供給する。
【０２３６】
A/D変換部３０４は、撮像素子３０３から供給される電気信号（アナログ信号）をデジタルデータ（画像データ）に変換する。A/D変換部３０４は、そのデジタルデータの画像データ（RAWデータ）をクランプ部３０５に供給する。
【０２３７】
クランプ部３０５は、第１の実施の形態若しくは第２の実施の形態において説明したように、OPB領域の画素値（OPBレベル）を用いて有効画素領域の画素値の黒レベルを補正する。クランプ部３０５は、黒レベルを減算した画像データを混色低減部３０６に供給する。
【０２３８】
混色低減部３０６は、クランプ部３０５から供給された画像データに対して、各画素値に含まれる混色成分を低減する演算を行う。混色低減部３０６は、混色成分を低減させた画像データを欠陥補正部３０７に供給する。
【０２３９】
欠陥補正部３０７は、正しい画素値が得られない欠陥画素について、その画素値の補正を行う。欠陥補正部３０７は、欠陥画素の補正を行った画像データをデモザイク部３０８に供給する。
【０２４０】
デモザイク部３０８は、RAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部３０８は、デモザイク処理後の画像データ（RGBデータ）をリニアマトリクス部３０９に供給する。
【０２４１】
リニアマトリクス部３０９は、規格で定められた原色（RGB）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。リニアマトリクス部３０９は、処理後の画像データをガンマ補正部３１０に供給する。
【０２４２】
ガンマ補正部３１０は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。ガンマ補正部３１０は、補正後の画像データ（RGBデータ）を輝度クロマ信号生成部３１１に供給する。
【０２４３】
輝度クロマ信号生成部３１１は、供給されたRGBデータから輝度信号（Ｙ）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号（Y,Cr,Cb）を生成すると、輝度クロマ信号生成部３１１は、その輝度信号と色差信号をインターフェイス（I/F）部３１２に供給する。
【０２４４】
インターフェイス（I/F）部３１２は、供給された画像データ（輝度クロマ信号）を、撮像装置３００の外部（例えば、画像データを記憶する記憶デバイスや、画像データの画像を表示する表示デバイス等）に出力する。
【０２４５】
このような撮像装置３００のクランプ部３０５において、第１の実施の形態または第２の実施の形態において説明したようにクランプ処理を行うことにより、撮像装置３００は、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０２４６】
＜４．第４の実施の形態＞
［撮像装置］
図１８は、本技術を適用した撮像装置の構成例を示す図である。図１８に示される撮像装置４００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【０２４７】
図１８に示されるように撮像装置４００は、レンズ部４１１、CMOSセンサ４１２、A/D変換部４１３、操作部４１４、制御部４１５、画像処理部４１６、表示部４１７、コーデック処理部４１８、および記録部４１９を有する。
【０２４８】
レンズ部４１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、CMOSセンサ４１２に供給する。
【０２４９】
CMOSセンサ４１２は、上述で説明した構造を有する固体撮像素子であり、有効画素領域内に、混色検出画素が設けられている。
【０２５０】
A/D変換器４１３は、CMOSセンサ４１２から、所定のタイミングで供給された画素毎の電圧信号を、デジタルの画像信号（以下、適宜、画素信号ともいう）に変換し、所定のタイミングで順次、画像処理部４１６に供給する。
【０２５１】
操作部４１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部４１５に供給する。
【０２５２】
制御部４１５は、操作部４１４により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部４１１、CMOSセンサ４１２、A/D変換器４１３、画像処理部４１６、表示部４１７、コーデック処理部４１８、および記録部４１９の駆動を制御し、各部に撮像に関する処理を行わせる。
【０２５３】
画像処理部４１６は、A/D変換器４１３から供給された画像信号に対して、例えば、上述した黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部４１６は、画像処理を施した画像信号を表示部４１７およびコーデック処理部４１８に供給する。
【０２５４】
表示部４１７は、例えば、液晶ディスプレイ等として構成され、画像処理部４１６からの画像信号に基づいて、被写体の画像を表示する。
【０２５５】
コーデック処理部４１８は、画像処理部４１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部４１９に供給する。
【０２５６】
記録部４１９は、コーデック処理部４１８からの画像データを記録する。記録部４１９に記録された画像データは、必要に応じて画像処理部４１６に読み出されることで、表示部４１７に供給され、対応する画像が表示される。
【０２５７】
このような撮像装置４００の画像処理部４１６において、第１の実施の形態または第２の実施の形態において説明したようにクランプ処理を行うことにより、撮像装置４００は、強い入射光に対するOPBレベルのロバスト性を向上させ、クランプ処理をより適切に行うことができる。
【０２５８】
なお、本技術を適用した固体撮像素子や画像処理部を備える撮像装置は、上述した構成に限らず、他の構成であってもよい。
【０２５９】
＜５．第５の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０２６０】
図１９において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２６１】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０２６２】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２６３】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０２６４】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２６５】
この記録媒体は、例えば、図１９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０２６６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２６７】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２６８】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０２６９】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７０】
なお、本技術は以下のような構成も取ることができる。
（１）  撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定する決定部と、
前記決定部により決定された複数の前記候補の比較を行う比較部と、
前記比較部による複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する選択部と
を備える信号処理装置。
（２）  前記決定部は、前記候補として、前記有効画素領域の左に設けられたOPB領域の画素値を用いて左OPBレベルを決定し、前記有効画素領域の右に設けられたOPB領域の画素値を用いて右OPBレベルを決定し、
前記選択部は、前記比較結果に基づいて、前記決定部により決定された前記左OPBレベルと前記右OPBレベルの内、いずれか一方を選択する
前記（１）に記載の信号処理装置。
（３）  前記比較部は、前記左OPBレベルと前記右OPBレベルとで値の大きさを比較し、
前記選択部は、前記比較部による比較結果に基づいて、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択する
前記（２）に記載の信号処理装置。
（４）  前記比較部は、前記左OPBレベルと前記右OPBレベルとの差分値を求め、
前記選択部は、前記差分値の大きさに応じて前記左OPBレベルと前記右OPBレベルのいずれか一方を選択する
前記（２）に記載の信号処理装置。
（５）  前記比較部は、前記左OPBレベルと前記右OPBレベルとの差分絶対値と所定の閾値とを比較し、
前記選択部は、前記差分絶対値が前記閾値より大きい場合、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択する
前記（４）に記載の信号処理装置。
（６）  前記比較部は、前記左OPBレベルと前記右OPBレベルとを除算し、
前記選択部は、前記除算結果が１若しくは１近傍の値でない場合、前記左OPBレベルと前記右OPBレベルの内、値が小さい方を選択する
前記（２）に記載の信号処理装置。
（７）  前記比較部は、前記左OPBレベルおよび前記右OPBレベルの一方を所定の閾値と比較し、
前記選択部は、前記閾値と比較された一方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
前記（２）に記載の信号処理装置。
（８）  前記比較部は、前記閾値と比較されたOPBレベルが前記閾値より大きい場合、さらに、他方のOPBレベルを所定の閾値と比較し、
前記選択部は、前記閾値と比較された他方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
前記（７）に記載の信号処理装置。
（９）  前記有効画素領域の画素値を抽出する抽出部と、
前記抽出部により抽出された前記画素値から前記選択部により選択されたOPBレベルを減算する減算部と
をさらに備える前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）  前記決定部は、前記候補として、前記有効画素領域の上に設けられたOPB領域の画素値を用いて上OPBレベルを決定し、前記有効画素領域の下に設けられたOPB領域の画素値を用いて下OPBレベルを決定し、
前記選択部は、前記比較結果に基づいて、前記決定部により決定された前記上OPBレベルと前記下OPBレベルの内、いずれか一方を選択する
前記（１）に記載の信号処理装置。
（１１）  前記選択部により選択されたOPBレベルを記憶する記憶部をさらに有する
前記（１０）に記載の信号処理装置。
（１２）  前記比較部は、前記上OPBレベルと前記下OPBレベルとで値の大きさを比較し、
前記選択部は、前記比較部による比較結果に基づいて、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択する
前記（１０）または（１１）に記載の信号処理装置。
（１３）  前記比較部は、前記上OPBレベルと前記下OPBレベルとの差分値を求め、その差分絶対値と所定の閾値とを比較し、
前記選択部は、前記差分絶対値が前記閾値より大きい場合、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択する
前記（１０）または（１１）に記載の信号処理装置。
（１４）  前記比較部は、前記上OPBレベルと前記下OPBレベルとを除算し、
前記選択部は、前記除算結果が１若しくは１近傍の値でない場合、前記上OPBレベルと前記下OPBレベルの内、値が小さい方を選択する
前記（１０）または（１１）に記載の信号処理装置。
（１５）  前記比較部は、前記上OPBレベルおよび前記下OPBレベルの一方を所定の閾値と比較し、
前記選択部は、前記閾値と比較された一方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
前記（１０）または（１１）に記載の信号処理装置。
（１６）  前記比較部は、前記閾値と比較されたOPBレベルが前記閾値より大きい場合、さらに、他方のOPBレベルを所定の閾値と比較し、
前記選択部は、前記閾値と比較された他方のOPBレベルが前記閾値より小さい場合、前記OPBレベルを選択する
前記（１５）に記載の信号処理装置。
（１７）  前記撮像素子は裏面照射型のCMOSイメージセンサである
前記（１）乃至（１６）のいずれかに記載の信号処理装置。
（１８）  信号処理装置の信号処理方法であって、
決定部が、撮像素子の有効画素領域外に設けられたOPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定し、
比較部が、決定された複数の前記候補の比較を行い、
選択部が、複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する
信号処理方法。
（１９）  有効画素領域とOPB領域とを有し、入射光を光電変換する撮像部と、
前記撮像部の前記OPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定する決定部と、
前記決定部により決定された複数の前記候補の比較を行う比較部と、
前記比較部による複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する選択部と
を備える撮像装置。
（２０）  撮像装置の撮像方法であって、
撮像部が、有効画素領域とOPB領域とを有し、入射光を光電変換し、
決定部が、前記OPB領域の、互いに異なる位置の画素値を用いて、前記有効画素領域の画素値の黒レベルを補正するOPBレベルの候補を複数決定し、
比較部が、決定された複数の前記候補の比較を行い、
選択部が、複数の前記候補の比較結果に基づいて、前記候補のいずれかを前記OPBレベルとして選択する
撮像方法。
【符号の説明】
【０２７１】
１００  撮像装置，  １０１  撮像素子，  １０３  クランプ部，  １１１  有効画素領域，  １１２  OPB領域，  １２１  抽出部，  １２２  決定部，  １２３  比較部，  １２４  選択部，  １２５  減算部，  ２００  撮像装置，  ２０３  クランプ部，  ２２１  OPBレベル決定部，  ２２２  OPBレベル記憶部，  ２２３  抽出部，  ２２４  減算部，  ２４１  上OPBレベル決定部，  ２４２  上OPBレベル記憶部，  ２４３  下OPBレベル決定部，  ２４４  下OPBレベル記憶部，  ２４５  比較部，  ２４６  選択部，  ２８１  上OPBレベル決定部，  ２８２  閾値比較部，  ２８３  下OPBレベル決定部，  ２８４  閾値比較部，  ２８５  選択部，  ３００  撮像装置，  ３０３  撮像素子，  ３０５  クランプ部，  ４００  撮像装置，  ４１２  CMOSセンサ，  ４１６  画像処理部
【図１】
2013051489.tif 000003
【図２】
2013051489.tif 000004
【図３】
2013051489.tif 000005
【図４】
2013051489.tif 000006
【図５】
2013051489.tif 000007
【図６】
2013051489.tif 000008
【図７】
2013051489.tif 000009
【図８】
2013051489.tif 000010
【図９】
2013051489.tif 000011
【図１０】
2013051489.tif 000012
【図１１】
2013051489.tif 000013
【図１２】
2013051489.tif 000014
【図１３】
2013051489.tif 000015
【図１４】
2013051489.tif 000016
【図１５】
2013051489.tif 000017
【図１６】
2013051489.tif 000018
【図１７】
2013051489.tif 000019
【図１８】
2013051489.tif 000020
【図１９】
2013051489.tif 000021