(57)【要約】【課題】撮像素子内の有効画素領域の読み出し先頭ラインより早く読み出されるＯＢ領域を十分に有していなくとも、有効画素領域全体にわたって適切なクランプレベルで撮像信号をクランプすることができる撮像装置を提供する。【解決手段】有効画素領域及び光学的黒領域を有する撮像素子から出力される撮像信号をＡＤ変換部によりＡＤ変換し、ＡＤ変換された撮像信号のうち少なくとも光学的黒領域の撮像信号を、ＡＤ変換された撮像信号にＯＢ補正部により付加し、ＯＢ補正部より入力される光学的黒領域の撮像信号に基づくクランプ信号により、ＡＤ変換された撮像信号に対して黒レベルを基準化するクランプ処理をクランプ処理部により行い、クランプレベルを速やかに収束させるようにして、有効画素領域全体にわたって適切なクランプレベルで撮像信号をクランプすることができるようにする。【選択図】図１
2016082300.tif 000002
【特許請求の範囲】
【請求項１】
有効画素領域及び光学的黒領域を有し、入力される光学像を光電変換して撮像信号を出力する撮像素子と、
前記撮像素子から出力される前記撮像信号をアナログ−デジタル変換する変換手段と、
前記変換手段により変換された前記撮像信号のうち少なくとも前記光学的黒領域の撮像信号を、前記変換手段により変換された前記撮像信号に付加する補正手段と、
前記補正手段を介して入力される前記光学的黒領域の撮像信号を基に、前記変換手段により変換された前記撮像信号に対して黒レベルを基準化するクランプ処理を行うクランプ処理手段とを有することを特徴とする撮像装置。
【請求項２】
前記クランプ処理手段は、前記変換手段により変換された前記撮像信号と、前記補正手段を介して入力される前記光学的黒領域の撮像信号をフィルタ処理して得られるクランプ信号との差分を出力することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記補正手段は、ライン単位で前記変換手段により変換された前記撮像信号のうち少なくとも前記光学的黒領域の撮像信号を記憶する記憶手段を有し、前記記憶手段に撮像信号が記憶されたラインの撮像信号を前記クランプ処理手段に複数回出力することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
有効画素領域及び光学的黒領域を有し、入力される光学像を光電変換して撮像信号を出力する撮像素子と、
前記撮像素子から出力される前記撮像信号をアナログ−デジタル変換する変換手段と、
前記変換手段により変換された後の有効画素領域又は光学的黒領域の撮像信号を、前記光学的黒領域の撮像信号に基づくクランプ信号との差分をとることで黒レベルにクランプするクランプ処理手段と、
前記変換手段により変換された後の撮像信号をライン単位で加工する補正手段と、
前記補正手段を制御する補正制御手段とを有し、
前記補正制御手段は、前記補正手段で前記撮像信号を加工した後、前記クランプ処理手段により前記有効画素領域の撮像信号が黒レベルにクランプするよう前記補正手段を制御することを特徴とする撮像装置。
【請求項５】
前記補正手段は、前記光学的黒領域の先頭ラインからＸライン目（Ｘは自然数）の、少なくとも１ライン以上の撮像信号を前記クランプ処理手段に複数回出力することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記複数回出力する撮像信号のライン数は、前記撮像装置の撮影条件に応じて決定することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記撮影条件は、前記撮像素子の露光時間、前記撮像信号の信号増幅率、前記撮像素子の温度、前記撮像装置の撮像信号から顔を検出する検出条件、及び前記撮像装置の撮像信号から動き物体を検出する検出条件の少なくとも１つを含むことを特徴とする請求項６記載の撮像装置。
【請求項８】
有効画素領域及び光学的黒領域を有し、入力される光学像を光電変換して撮像信号を出力する撮像素子から出力される前記撮像信号をアナログ−デジタル変換する変換工程と、
前記変換工程にて変換された前記撮像信号のうち少なくとも前記光学的黒領域の撮像信号を、前記変換工程にて変換された前記撮像信号に付加する補正工程と、
前記補正工程で処理された前記光学的黒領域の撮像信号を基に、前記変換工程にて変換された前記撮像信号に対して黒レベルを基準化するクランプ処理を行うクランプ処理工程とを有することを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び信号処理方法に関する。
【背景技術】
【０００２】
従来の撮像装置は、撮像素子から得られた電気信号（撮像信号）をアナログ−デジタル変換（ＡＤ変換）処理した後、信号自体の黒レベルを補償するために撮像信号に対してオプティカルブラッククランプ処理（ＯＢクランプ処理）を施す。ＯＢクランプ処理では、ＡＤ変換処理後の撮像信号と、撮像素子内の光学的黒領域（ＯＢ領域）の撮像信号との差分がとられる。ＯＢ領域は、一般には金属で遮光されたフォトダイオード（光電変換素子）で構成されている。ＯＢクランプ処理により、暗電流ノイズ等に起因して撮像信号の黒レベルが変動した場合でも、黒レベルの安定した撮像信号を得ることができる。
【０００３】
図１８にＯＢクランプ処理を行う一般的なクランプ処理部を示す。クランプ処理部１８０１のフィルタ部１８０２は、クランプ処理部１８０１に入力される撮像信号のうちＯＢ領域の撮像信号が選択的に入力され、ＯＢ領域の撮像信号にフィルタ処理を施してノイズを除去する。クランプ処理部１８０１に入力された撮像信号は、ＯＢ領域の撮像信号をフィルタ部１８０２でフィルタ処理して得られた基準信号（クランプ信号）との差分が加算器１８０３でとられ、ＯＢクランプ処理が行われる。
【０００４】
撮像素子内のＯＢ領域は、領域のサイズや撮像素子内での配置場所など撮像素子毎にさまざまである。撮像素子内の有効画素領域の読み出し先頭ラインより早く読み出されるＯＢ領域を有する場合、有効画素領域の撮像信号がクランプ処理部を通過する前にクランプ信号を安定化させることで、安定したクランプレベルでＯＢクランプ処理を行うことが可能となる。しかし、ＯＢ領域を有効画素領域の読み出し先頭ラインより早い読み出しラインに多く設けるためには、撮像素子の総画素数が増すとともに、ＯＢ領域のフォトダイオードをアルミニウムで覆う必要があるためにコストが増してしまう。さらに、アルミニウムにより寄生容量が発生し特性が電気的に悪化してしまう。
【０００５】
図１９に撮像素子の一例を示す。撮像素子１９０１は、その内部に、電気的に保証されない無効領域１９０２、ＯＢ領域１９０３、及びレンズ等により光学像を結像させ撮像信号を出力する有効画素領域１９０４を有する。ＯＢ領域１９０３から出力される撮像信号は、図１８に示したようなクランプ処理部のフィルタ部に入力される。フィルタ部は、例えばＩＩＲ（Infinite Impulse Response）型ＬＰＦ（Low Pass Filter）であり、ＯＢ領域の撮像信号の高周波成分を除去する。１９０５は、フィルタ部から出力されるクランプ信号であり、フィルタ部の時定数に応じた時間に応じて収束する。図１９には、あるフレーム映像から急激に暗電流が増加して高い信号レベルのＯＢ領域の撮像信号が入力された場合のクランプ信号１９０５を示しており、有効画素領域の先頭ラインがクランプ処理される前のライン位置１９０６で収束した状態を示している。
【０００６】
このようにクランプ処理部のフィルタ部に入力されるＯＢ領域の撮像信号が変動した場合、変動に応じた目標のクランプ信号を出力するためには、フィルタ部の持つ時定数特性に応じた時間を要する。ここで、図１９に示したＯＢ領域１９０３のように、撮像素子内の有効画素領域１９０４の読み出し先頭ラインより早く読み出されるＯＢ領域１９０７を有する場合を考える。ＯＢ領域１９０７の撮像信号が有効画素領域１９０４よりも先行してクランプ処理部のフィルタ部に入力され、クランプ信号が安定した（１９０６）後に、有効画素領域１９０４の読み出し先頭ラインの撮像信号がクランプ処理部でクランプされる。したがって、有効画素領域の全領域にわたって安定したクランプレベルのクランプ信号でもって撮像信号をクランプすることができる。
【０００７】
信頼できる光学的黒レベルを出力するＯＢ領域が十分に確保できない撮像素子を用いたＯＢクランプ処理の技術に関して、例えば特許文献１に記載の技術が公開されている。また、ＯＢレベルが急速に変動した場合に、変動したＯＢレベルに応じて撮像信号へのクランプ信号を切り替える技術に関して、例えば特許文献２に記載の技術が公開されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−６７２８１号公報
【特許文献２】特開２００９−７７１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の技術では、撮像素子に照射されるイメージサークルを縮小して、光が照射されないイメージサークル外の金属膜で遮光されていない撮像素子領域を、ＯＢレベル信号を出力する基準撮像素子領域として利用する。これにより、安定した十分広い領域のＯＢ領域を確保している。しかし、撮影毎に撮像素子に照射されるイメージサークルを縮小する必要があり、動画像を撮影している場合など常時イメージサークルを固定しないといけない条件下では実施することができない。また、動画像の撮影中に、露光時間や温度条件等の撮影条件の急激な変化によるＯＢレベルの変動に、特許文献１に記載の技術では高速に追従することができない。
【００１０】
特許文献２に記載の技術では、撮影モードの変化によるＯＢ領域出力のＯＢレベルの急激な変化にクランプ信号を高速に追従させるために、予め撮影モード毎に想定される必要なクランプ信号レベルをメモリテーブル等に保持しておく。そして、撮影モードが変化した際、適応するクランプ信号レベルでもって撮像信号をクランプする。しかし、予め想定されるクランプ信号レベルを採用するため、露光時間や温度条件等の撮影条件の組み合わせによっては想定外のＯＢレベルが出力される場合がある。
【００１１】
また、特許文献２に記載の技術において、ＯＢ領域として、図１９に示したような撮像素子内の有効画素領域１９０４の読み出し先頭ラインより早く読み出されるＯＢ領域１９０７を持たない又はそのＯＢ領域が狭い撮像素子であった場合を考える。この場合、テーブルに保存された想定のクランプ信号レベルと、必要なクランプ信号レベルとが異なるが、クランプ処理部のフィルタ部でクランプ信号を収束させる時間を確保できないと、有効画素領域全体にわたって適切なクランプ処理が行えない。また、特許文献２に記載の技術では、一般的に同じ撮像素子であっても、撮像素子毎に異なるＯＢ信号特性に、同じ理由で、適切に対応したＯＢクランプ処理を行うことができない。
【００１２】
図２０に、撮像素子内の有効画素領域の読み出し先頭ラインより早く読み出されるＯＢ領域を有しない撮像素子の例を示す。撮像素子２００１は、その内部に、無効領域２００２、ＯＢ領域２００３、及び有効画素領域２００４を有する。ＯＢ領域２００３から出力される撮像信号は、図１８に示したようなクランプ処理部のフィルタ部に入力され、フィルタ部によりＯＢ領域の撮像信号の高周波成分が除去される。２００５は、フィルタ部から出力されるクランプ信号である。図２０には、あるフレーム映像から急激に暗電流が増加して高い信号レベルのＯＢ領域の撮像信号が入力された場合のクランプ信号２００５を示しており、有効画素領域の先頭ラインがクランプ処理された後のライン位置２００６で収束した状態を示している。
【００１３】
ＯＢ領域２００３のように、撮像素子内の有効画素領域の読み出し先頭ラインより早く読み出されるＯＢ領域を有しない又はそのＯＢ領域が狭い場合、クランプ信号２００５のレベルは、有効画素領域の先頭ラインがクランプされた後のタイミングで収束する。その結果、有効画素領域２００４の先頭ラインの撮像信号がクランプ処理部の加算器でクランプされている際には、まだ収束していないクランプレベルでクランプされていることになる。したがって、図２１に示すように、映像上部の撮像信号が適切なクランプレベルでクランプできずにムラができてしまうことがある。
【００１４】
本発明の目的は、撮像素子内の有効画素領域の読み出し先頭ラインより早く読み出されるＯＢ領域を十分に有していなくとも、有効画素領域全体にわたって適切なクランプレベルで撮像信号をクランプすることができる撮像装置を提供することである。
【課題を解決するための手段】
【００１５】
本発明に係る撮像装置は、有効画素領域及び光学的黒領域を有し、入力される光学像を光電変換して撮像信号を出力する撮像素子と、前記撮像素子から出力される前記撮像信号をアナログ−デジタル変換する変換手段と、前記変換手段により変換された前記撮像信号のうち少なくとも前記光学的黒領域の撮像信号を、前記変換手段により変換された前記撮像信号に付加する補正手段と、前記補正手段を介して入力される前記光学的黒領域の撮像信号を基に、前記変換手段により変換された前記撮像信号に対して黒レベルを基準化するクランプ処理を行うクランプ処理手段とを有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、クランプレベルを速やかに収束させることができ、有効画素領域全体にわたって適切なクランプレベルで撮像信号をクランプすることができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態におけるクランプ処理部の構成例を示す図である。
【図２】本実施形態における撮像装置の概略構成例を示す図である。
【図３】本実施形態における撮像素子の構成例を示す図である。
【図４】第１の実施形態におけるＯＢ補正部の構成例を示す図である。
【図５】第１の実施形態におけるＯＢ補正処理例を示すフローチャートである。
【図６】第１の実施形態におけるＯＢ補正タイムテーブルの例を示す図である。
【図７】ＯＢ補正部に入力されるＯＢ領域のライン構成の例を示す図である。
【図８】ＯＢ補正部から出力されるＯＢ領域のライン構成の例を示す図である。
【図９】第１の実施形態におけるクランプ処理部１０６に入力される撮像信号の例を示す図である。
【図１０】本実施形態におけるクランプ処理された画像の例を示す図である。
【図１１】第１の実施形態における付加ライン数演算処理例を示すフローチャートである。
【図１２】第２の実施形態におけるＯＢ補正部の構成例を示す図である。
【図１３】第２の実施形態におけるＯＢ補正処理例を示すフローチャートである。
【図１４】第２の実施形態におけるＯＢ補正タイムテーブルの例を示す図である。
【図１５】水平方向にＯＢ領域を拡大補正した概念図である。
【図１６】第３の実施形態におけるＯＢ補正処理例を示すフローチャートである。
【図１７】第３の実施形態における補正後のＯＢ領域のライン構成の例を示す図である。
【図１８】従来のクランプ処理部の構成を示す図である。
【図１９】撮像素子の一例を示す図である。
【図２０】撮像素子の他の例を示す図である。
【図２１】クランプ処理が適切でない画像の例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面に基づいて説明する。
【００１９】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図２は、本実施形態に係るデジタル撮像装置の概略構成例を示すブロック図である。レンズ駆動部２１１は、被写体の光学像を結像するための光学レンズ２０１を駆動させる。レンズ駆動部２１１は、例えばＤＣモーター等で構成されている。絞り駆動部２１０は、レンズ２０１を透過した光量を調整する絞り機構２０２を制御する。
【００２０】
撮像素子２０３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等であり、被写体の光学像を電気信号に光電変換する。本実施形態では、撮像素子２０３は、ベイヤ配列の４色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の色フィルタが光電変換素子上に配置されている。増幅器２０４は、撮像素子２０３から出力された撮像信号を電気的に増幅する。
【００２１】
アナログ−デジタル変換部（ＡＤ変換部）２０５は、撮像信号をアナログ信号からデジタル信号に変換する。クランプ処理部２０６は、撮像信号の黒レベルを固定するためのオプティカルブラッククランプ処理（ＯＢクランプ処理）を行う。クランプ処理部２０６では、ＡＤ変換処理後の撮像信号は、信号自体の黒レベルを補償するために、撮像素子内の光学的黒領域（ＯＢ領域）の撮像信号との差分がとられる。ＯＢ領域は、例えば金属で遮光された光電変換素子で構成されている。この撮像信号の黒レベルを基準化するＯＢクランプ処理により、暗電流ノイズ等に起因して撮像信号の黒レベルが変動した場合でも、黒レベルの安定した撮像信号を得ることができる。
【００２２】
映像信号処理部２０７は、現像処理、ホワイトバランス処理、ノイズリダクション処理等の信号処理を施すことにより所定の映像信号を生成する。映像信号出力部２０８は、映像信号処理部２０７からの出力をビデオ信号等の形式に変換し、映像信号を外部へ出力する。
【００２３】
演算制御部２０９は、プログラム等を基に撮像装置の各機能部の制御等を行うマイコン（マイクロコントローラ）等の中央演算処理装置である。例えば、演算制御部２０９は、映像信号処理部２０７の出力（映像信号）から輝度評価値を算出して、適切な露出レベルとなるようレンズ駆動部２１１や絞り駆動部２１０に駆動信号を送信する。演算制御部２０９は、撮像素子２０３に所定の露光時間になるよう制御信号を送信し、増幅器２０４に所定の増幅率を採用するよう制御信号を送信する。
【００２４】
また、例えば演算制御部２０９は、クランプ処理部２０６に、内部のフィルタ部のもつ時定数を所定の値になるよう制御信号を送信したり、撮像素子２０３内のＯＢ領域の位置情報を送信したりする。演算制御部２０９は、映像信号処理部２０７から映像信号を受け取り、映像のフレーム間で差分を取ることで動き物体を検出したり顔を追尾したりする演算を行い、映像信号に情報を重畳させたりする処理を行う。
【００２５】
タイミングジェネレータ（ＴＧ）２１２は、撮像装置を駆動する基準クロックを生成する。タイミングジェネレータ２１２は、映像の垂直同期信号、水平同期信号、画素単位の駆動信号（ピクセルクロック）を生成し、各モジュールに供給する。クランプ処理部２０６では、これらタイミング信号と演算制御部２０９からの情報により、撮像素子２０３により得られた撮像信号のうちで、特定の領域の撮像信号をＯＢ領域の撮像信号として採用してＯＢクランプ処理を行う。
【００２６】
次に、ＯＢクランプ処理を行う図２に示したクランプ処理部２０６について、図１を参照して説明する。クランプ処理部１０６には、ＡＤ変換処理された撮像信号が読み出しライン毎にピクセル単位で入力される。フィルタ部１０２は、クランプ処理部１０６に入力される撮像信号のうちＯＢ領域の撮像信号が選択的に入力され、ＯＢ領域の撮像信号に対してノイズを除去するフィルタ処理を施す。クランプ処理部１０６に入力された撮像信号は、ＯＢ領域の撮像信号をフィルタ部１０２でフィルタ処理して得られた基準信号（クランプ信号）との差分が加算器１０３でとられ、ＯＢクランプ処理が行われる。
【００２７】
ここで、本実施形態における撮像素子２０３は、図３に示すように光電変換素子で構成された撮像素子３０１で構成されており、その内部に、電気的に保証されない無効領域３０２、ＯＢ領域３０３、及び有効画素領域３０４を有する。有効画素領域３０４は、レンズにより光学像を結像させ撮像信号を出力する画素領域である。ＯＢ領域３０３から出力される撮像信号は、図１に示したクランプ処理部１０６のフィルタ部１０２に入力される。
【００２８】
フィルタ部１０２は、例えば１次のＩＩＲ型のＬＰＦである。フィルタの時定数をＭ、フィルタの入力をＸn、出力をＹnとした場合、下記式（１）でフィルタ特性は表される。
Ｙn＝（１／Ｍ）×｛Ｘn＋（Ｍ−１）×Ｙn-1｝  …（１）
ここで、時定数Ｍを大きくすると、入力Ｘnに対する出力の応答特性は遅くなるが、ＯＢ領域３０３に画素欠陥等がある場合に、画素欠陥等によるフィルタ出力への影響は小さくなる。逆に、時定数Ｍを小さくすると、入力Ｘnに対する出力の応答特性は早くなり、ＯＢレベルの変動に追従しやすくなる。
【００２９】
しかし、時定数Ｍを小さくすると、撮影条件が高温であったり露光やゲインが大きく変化した場合のようにＯＢ領域の撮像信号の信号レベルがフレーム間で大きく変動する場合に、入力ＯＢ信号のレベルの変動に対して出力クランプ信号特性が遅れる。その結果、有効画素領域全体に適切なクランプレベルでもってクランプ処理が施せない場合が発生したり、クランプ後の映像信号にハンチングのような現象が発生したりする。また、ＯＢ領域に画素欠陥等がある場合に、フィルタ部１０２で画素欠陥の影響を除去できずに誤クランプの可能性がある。
【００３０】
ＯＢ補正部１０１は、ＡＤ変換処理されたデジタル撮像信号がクランプ処理部１０６に入力される前段に配置されている。すなわち、ＯＢ補正部１０１は、図２に示したＡＤ変換部２０５とクランプ処理部２０６との間に設けられる。ＯＢ補正部１０１は、演算制御部１０４内のＯＢ補正制御部１０５からの制御信号で動作し、タイミングジェネレータ２１２からの駆動タイミングにより同期がとられる。図１に示した例では、ＯＢ補正制御部１０５は演算制御部１０４内に設けているが、演算制御部１０４とは別に独立して設ける構成であってもよい。
【００３１】
図４は、第１の実施形態におけるＯＢ補正部１０１の構成例を示す図である。ＯＢ補正部１０１は、ラインメモリ４０５、ラインメモリ４０６、スルーライン４０７、入力側撮像信号切り替えスイッチ４０４、及び出力側撮像信号切り替えスイッチ４１１を有する。スイッチ４０４は、撮像信号の入力端子と、ラインメモリ４０５の入力端子４０１、スルーライン４０７の入力端子４０２、及びラインメモリ４０６の入力端子４０３との接続を制御する。また、スイッチ４１１は、ＯＢ補正部１０１の出力端子と、ラインメモリ４０５の出力端子４０８、スルーライン４０７の出力端子４０９、及びラインメモリ４０６の出力端子４１０との接続を制御する。スイッチ４０４、４１１は、ＯＢ補正制御部１０５により切り替え制御される。また、内部の駆動タイミングは、図２に示したタイミングジェネレータ２１２から供給されるピクセルクロック、垂直同期信号、水平同期信号に同期して駆動する。
【００３２】
ＯＢ補正部１０１及びＯＢ補正制御部１０５によるＯＢ補正処理について説明する。図５は、第１の実施形態におけるＯＢ補正処理の例を示すフローチャートである。撮像装置の起動シーケンスのある時点から、ＯＢ補正制御部１０５が起動し（Ｓ５０１）、ＯＢ補正制御部１０５による制御が開始される。ＯＢ補正制御部１０５は、ＯＢ補正部１０１を通過する現在の撮像信号の読み出しラインが、ＯＢ領域３０３の先頭ラインであるか否かを判定する（Ｓ５０２）。
【００３３】
現在の撮像信号の読み出しラインがＯＢ領域３０３の先頭ラインであった場合、ＯＢ補正制御部１０５は、後述する方法で後段のクランプ処理部でクランプするための最適な付加ライン数を演算決定する（Ｓ５０３）。その後、ＯＢ補正制御部１０５が、撮像信号の読み出しラインの位置に応じてスイッチ４０４及びスイッチ４１１を制御し（Ｓ５０４）、各ラインの撮像信号は、ラインメモリ４０５、ラインメモリ４０６、又はスルーライン４０７を通過する。
【００３４】
ステップＳ５０２での判定の結果、現在の撮像信号の読み出しラインがＯＢ領域３０３の先頭ラインでなかった場合、ＯＢ補正制御部１０５が、現在の読み出しラインの位置に応じてスイッチ４０４及びスイッチ４１１を制御する（Ｓ５０４）。これにより、各ラインの撮像信号は、ラインメモリ４０５、ラインメモリ４０６、又はスルーライン４０７を通過する。
【００３５】
ステップＳ５０３での付加ライン数演算結果が「１」であった場合の、ステップＳ５０４におけるスイッチ制御と、ラインメモリ４０５、４０６に保存される撮像信号のライン番号とのタイミングテーブルを図６に示す。また、図７に、合計Ｎラインで構成された、ＯＢ領域３０３の先頭ラインが「ＯＢライン１」から始まるＯＢ領域３０３のライン構成の例を示す。
【００３６】
図６に示すように、ＯＢ補正部１０１に入力されるＯＢ領域のライン構成は、ライン番号１から始まる合計Ｎラインで構成されている。それに対して、ＯＢ補正部１０１から出力されるＯＢ領域のライン構成は、合計（Ｎ＋１）ラインであり、先頭にライン番号１のＯＢ領域が付加された状態である。つまり、ＯＢ補正部１０１への入力は、図７に示したライン構成であるのに対して、ＯＢ補正部１０１からの出力は、図８に示したライン構成となる。このようにＯＢ補正部１０１は、入力される撮像信号をライン単位で加工して出力する。
【００３７】
本例では１ラインの付加を行う例を示したが、図５のステップＳ５０３での付加ライン数演算結果に応じて付加ライン数は異なり、１ライン以上を付加してもよい。ラインメモリ４０５、４０６のメモリサイズは、付加ライン数演算結果に応じてアダプティブに領域が確保されてもよいし、付加ライン数演算結果の最大付加ライン数×２ライン分、予めメモリ領域に確保されていてもよい。
【００３８】
また、付加ライン数演算結果がゼロである場合には、スイッチ４０４はスルーライン４０７の入力端子４０２に、スイッチ４１１はスルーライン４０７の出力端子４０９に接続され、各ラインの撮像信号は、いわゆるスルー状態となる。つまり、各ラインの撮像信号は、ラインメモリ４０５、４０６に蓄積されずにＯＢ補正部１０１をスルーする形になる。また、付加ラインを２回以上繰り返すようにＯＢ補正を行う場合、言い換えれば同じラインの撮像信号を複数回出力する場合、最大付加ライン数×（繰り返し回数分）のメモリを確保すればよい。
【００３９】
図９は、図１に示したＯＢ補正部１０１を通過した後のクランプ処理部１０６に入力される撮像信号の例を示す図である。ＯＢ領域９０４は、図３に示したＯＢ領域３０３にＯＢ補正部１０１で付加されたＯＢ領域９０３が上部に付加され補正された構成になっている。同様に、有効画素領域９０５は、図３に示した有効画素領域３０４にＯＢ補正部１０１で付加された有効画素領域９０２が上部に付加された構成になっている。ＯＢ領域９０４は、図１に示したクランプ処理部１０６のフィルタ部１０２に入力され、クランプ処理に用いられる。
【００４０】
９０６は、フィルタ部１０２から出力されるクランプ信号であり、フィルタ部１０２のもつ時定数に応じた時間に応じて収束する。図９には、あるフレーム映像から急激に暗電流が増加して高い信号レベルのＯＢ領域の撮像信号が入力された場合のクランプ信号９０６を示しており、有効画素領域３０４の先頭ラインがクランプ処理される前のライン位置９０７で収束した状態を示している。このようにクランプ処理部１０６のフィルタ部１０２に入力されるＯＢ領域の撮像信号が変動した場合、変動に応じた目標のクランプ信号を出力するためには、フィルタ部１０２のもつ時定数特性に応じた時間を要する。
【００４１】
本実施形態において、図３に示した撮像素子３０１のように、ＯＢ領域３０３が撮像素子内の有効画素領域３０４の読み出し先頭ラインより早く読み出されるＯＢ領域を有していない又はそのＯＢ領域が狭い場合には以下のようになる。まず、ＯＢ補正部１０１でＯＢ領域３０３の上部にＯＢ領域９０３を付加しＯＢ領域を補正する。その結果、補正されたＯＢ領域９０４のうち、付加されたＯＢ領域９０３の部分が有効画素領域３０４よりも先行してクランプ処理部１０６のフィルタ部１０２に入力される。この結果、フィルタ部１０２の出力であるクランプ信号が安定した（９０７）後に、有効画素領域３０４の読み出し先頭ラインの撮像信号がクランプ処理部１０６でクランプされる。したがって、本実施形態によれば、有効画素領域の全領域にわたって安定したクランプレベルのクランプ信号でもって撮像信号をクランプすることができ、例えば図１０に示すようにムラ等のない良好な画像を得ることができる。
【００４２】
次に、図５のステップＳ５０３での付加ライン数の演算決定方法について説明する。図１１は、付加ライン数演算処理の例を示すフローチャートである。付加ライン数演算処理を開始すると（Ｓ１１０１）、まず、ＯＢ補正制御部１０５は、前後フレームの撮影パラメータの差分を正規化する。黒レベルは暗電流に起因しており、暗電流は撮像素子の温度Ｔ、露光時間Ｓ、ゲイン（信号増幅率）Ａが大きくなるほど増加する。あるフレームの撮影パラメータＥnは、以下の式（２）で表される。
Ｅn＝Ｔn＋Ｓn＋Ａn
ここで、式（２）の左辺にさらに、図２に示した演算制御部２０９で処理を行う顔検知の検出条件や動き物体検知の検出条件を追加しても良い。
【００４３】
ＯＢ補正制御部１０５は、式（２）を用いて、現フレームの撮影パラメータＥnと前フレームの撮影パラメータＥn-1との差分（Ｅn−Ｅn-1）を取得する（Ｓ１１０２）。次に、ＯＢ補正制御部１０５は、クランプ処理部１０６のフィルタ部１０２の時定数Ｍを取得する（Ｓ１１０３）。そして、ＯＢ補正制御部１０５は、式（２）を用いて導出された撮影パラメータの前後フレーム間の差分（Ｅn−Ｅn-1）から、暗電流の変化量Ｉｍを見積もる。さらに、ＯＢ補正制御部１０５は、フィルタ部１０２の時定数Ｍから暗電流の変化量が収束するのに必要とするライン数Ｌを演算して付加ライン数を決定し（Ｓ１１０４）、付加ライン数演算処理を終了する（Ｓ１１０５）。
【００４４】
また、ステップＳ５０３での付加ライン数演算処理で決定された付加ライン数Ｌがラインメモリの確保量の制限を超えた場合、や、少ない付加ライン数でクランプレベルを入力する黒レベルに追従させたい場合、以下のように制御してもよい。例えば、フィルタ部１０２へ付加ラインの撮像信号が入力中のみ時定数Ｍを小さくすることで、少ない付加ラインで、付加ラインがフィルタ入力中にクランプレベルを黒レベルに引き込むことができる。
【００４５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。以下に説明する第２の実施形態は、前述した第１の実施形態とは、ＯＢ補正部１０１の構成及び制御が異なり、それ以外は第１の実施形態と同様であるのでその説明は省略する。
【００４６】
図１２は、第２の実施形態におけるＯＢ補正部１０１の構成例を示す図である。ＯＢ補正部１０１は、ＦＩＦＯ（First-in First-out）型ラインメモリ１２０２、スルーライン１２０３、入力側撮像信号切り替えスイッチ１２０５、及び出力側撮像信号切り替えスイッチ１２０４を有する。スイッチ１２０５は、撮像信号の入力端子と、スルーライン１２０３の入力端子１２０７及びラインメモリ１２０２の入力端子１２０８との接続を制御する。また、スイッチ１２０４は、ＯＢ補正部１０１の出力端子と、スルーライン１２０３の出力端子１２０９及びラインメモリ１２０２の出力端子１２１０との接続を制御する。スイッチ１２０４、１２０５は、ＯＢ補正制御部１０５により切り替え制御される。また、ＯＢ補正部１０１内部の駆動タイミングは、図２に示したタイミングジェネレータ２１２から供給されるピクセルクロック、垂直同期信号、水平同期信号に同期して駆動する。
【００４７】
第２の実施形態におけるＯＢ補正部１０１及びＯＢ補正制御部１０５によるＯＢ補正処理について説明する。図１３は、第２の実施形態におけるＯＢ補正処理の例を示すフローチャートである。撮像装置の起動シーケンスのある時点から、ＯＢ補正制御部１０５が起動し（Ｓ１３０１）、ＯＢ補正制御部１０５による制御が開始される。ＯＢ補正制御部１０５は、ＯＢ補正部１０１を通過する現在の撮像信号の読み出しラインが、ＯＢ領域３０３の先頭ラインであるか否かを判定する（Ｓ１３０２）。
【００４８】
現在の撮像信号の読み出しラインがＯＢ領域３０３の先頭ラインであった場合、ＯＢ補正制御部１０５は、第１の実施形態と同様の方法で後段のクランプ処理部でクランプするための最適な付加ライン数を演算決定する（Ｓ１３０３）。その後、ＯＢ補正制御部１０５が、撮像信号の読み出しラインの位置に応じてスイッチ１２０４及びスイッチ１２０５を制御し（Ｓ１３０４）、各ラインの撮像信号は、ＦＩＦＯ型ラインメモリ１２０２又はスルーライン１２０３を通過する。
【００４９】
ステップＳ１３０２での判定の結果、現在の撮像信号の読み出しラインがＯＢ領域３０３の先頭ラインでなかった場合、ＯＢ補正制御部１０５が、現在の読み出しラインの位置に応じてスイッチ１２０４及びスイッチ１２０５を制御する（Ｓ１３０４）。これにより、各ラインの撮像信号は、ＦＩＦＯ型ラインメモリ１２０２又はスルーライン１２０３を通過する。
【００５０】
ステップＳ１３０３での付加ライン数演算結果が「１」であった場合のＦＩＦＯ型ラインメモリ１２０２に保存される撮像信号のライン番号のタイミングテーブルを図１４に示す。図１４に示すように、ＯＢ補正部１０１に入力されるＯＢ領域のライン構成は、ライン番号１から始まる合計Ｎラインである。それに対して、ＯＢ補正部１０１から出力されるＯＢ領域のライン構成は、合計（Ｎ＋１）ラインであり、先頭にライン番号１のＯＢ領域が付加された状態である。
【００５１】
本例では１ラインの付加を行う例を示したが、図１３のステップＳ１３０３での付加ライン数演算結果に応じて付加ライン数は異なる。ＦＩＦＯ型ラインメモリ１２０２のメモリサイズは、付加ライン数演算結果に応じてアダプティブに領域が確保されてもよいし、付加ライン数演算結果の最大付加ライン数分、予めメモリ領域に確保されていてもよい。付加ライン数演算結果がゼロである場合には、スイッチ１２０５はスルーライン１２０３の入力端子１２０７に、スイッチ１２０４はスルーライン１２０３の出力端子１２０９に接続され、各ラインの撮像信号は、いわゆるスルー状態となる。つまり、各ラインの撮像信号は、ＦＩＦＯ型ラインメモリ１２０２に蓄積されずにＯＢ補正部１０１をスルーする形になる。
【００５２】
以上のように、第２の実施形態によれば、第１の実施形態と同様に、有効画素領域の全領域にわたって安定したクランプレベルのクランプ信号でもって撮像信号をクランプすることができる。また、第２の実施形態では、ラインメモリとしてＦＩＦＯ型ラインメモリを採用することで、第１の実施形態におけるラインメモリの半分の容量の確保で済む。
【００５３】
前述した第１の実施形態では、ＯＢ補正部１０１のラインメモリには、ＯＢ領域９０３と無効領域と有効画素領域９０１を含む撮像素子からの出力をそのまま保存し、出力していた。第２の実施形態では、図１５に示すように無効領域と有効画素領域９０１との撮像信号をＯＢ領域９０３の撮像信号で繰り返し書き換え送信する。図１５に示す領域１５０５のようにＯＢ領域１５０３の撮像信号を繰り返し書き換えて（１５０４）、ＯＢ領域を拡大補正してクランプ処理部１０６に入力する際、フィルタ部１０２への撮像信号の入力領域が領域１５０５及び領域３０３になるように制御する。このような制御で、フィルタ部１０２の出力であるクランプ信号の収束時間は、ＯＢ領域１５０５の領域が拡大された分、有効画素領域３０４の読み出し先頭ラインがクランプ処理部１０６に入力されるタイミングより相対的に早くなる。また、ライン付加領域１５０５がフィルタ部１０２に入力中は、フィルタ部１０２の時定数を小さくすることで、さらに高速にクランプレベルを黒基準レベルに追従することができる。
【００５４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態は、大きなシェーディング特性を含んだ撮像素子であっても適切にクランプ処理できるようにするものである。以下では、第３の実施形態において、前述した第１及び第２の実施形態と異なる点についてのみ説明する。なお、以下では、第２の実施形態と同様のＯＢ補正部１０１を例に説明するが、第１の実施形態と同様のＯＢ補正部１０１であっても適用可能である。
【００５５】
図１９に示した撮像素子１９０１のように、ＯＢ領域として撮像素子内の有効画素領域１９０４の読み出し先頭ラインより早く読み出されるＯＢ領域１９０７を有する場合のクランプ処理は前述した。しかし、撮像素子が大きなシェーディング特性を有する場合、特にＯＢ領域の端領域１９０７のシェーディング特性が大きい傾向がある。ＯＢ領域１９０７のシェーディング特性が大きい場合、シェーディング特性が影響して正常なクランプ処理が行えないことがある。
【００５６】
そこで、第３の実施形態として、ＯＢ領域１９０７の先頭を１ラインとし、１ライン目から（Ｘ−１）ライン目（Ｘは２以上の自然数）まではシェーディング特性が大きく、光学的黒レベルの参照領域として適さない特性の撮像素子の場合の例を示す。図１６は、第３の実施形態におけるＯＢ補正処理の例を示すフローチャートである。
【００５７】
撮像装置の起動シーケンスのある時点から、ＯＢ補正制御部１０５が起動し（Ｓ１６０１）、ＯＢ補正制御部１０５による制御が開始される。ＯＢ補正制御部１０５は、ＯＢ補正部１０１を通過する現在の撮像信号の読み出しラインが、ＯＢ領域１９０３の先頭ラインからＸライン目であるか否かを判定する（Ｓ１６０２）。
【００５８】
現在の撮像信号の読み出しラインがＯＢ領域１９０３の先頭ラインからＸライン目であった場合、ＯＢ補正制御部１０５は、第１の実施形態と同様の方法で後段のクランプ処理部でクランプするための最適な付加ライン数を演算決定する（Ｓ１６０３）。その後、ＯＢ補正制御部１０５が、撮像信号の読み出しラインの位置に応じてスイッチ１２０４及びスイッチ１２１１を制御し（Ｓ１６０４）、各ラインの撮像信号は、ＦＩＦＯ型ラインメモリ１２０２又はスルーライン１２０３を通過する。
【００５９】
ステップＳ１６０２での判定の結果、現在の撮像信号の読み出しラインがＯＢ領域３０３の先頭からＸライン目でなかった場合、ＯＢ補正制御部１０５が、現在の読み出しラインの位置に応じてスイッチ１２０４及びスイッチ１２０５を制御する（Ｓ１６０４）。これにより、各ラインの撮像信号は、ＦＩＦＯ型ラインメモリ１２０２又はスルーライン１２０３を通過する。
【００６０】
ステップＳ１６０３での付加ライン数演算結果が「１」であった場合、以上のフローを経た状態で、ＯＢ補正部１０１に入力されるＯＢ領域のライン構成は、図７と同様にライン番号１から始まる合計Ｎラインである。それに対して、ＯＢ補正部１０１から出力されるＯＢ領域のライン構成は、合計（Ｎ＋１）ラインであり、図１７に示すように先頭ラインからＸライン目のＯＢ領域のライン番号Ｘが付加された状態である。
【００６１】
以上のようにＯＢ補正部１０１で補正された撮像信号を、クランプ処理部１０６に入力する。そして、フィルタ部１０２に入力するＯＢ領域の撮像信号をＸライン目からとなるように演算制御部１０４からフィルタ回路１０２に指令を出すことで、シェーディング特性の大きいＯＢ領域１９０７の撮像信号を使わずにＯＢクランプ処理が行われる。さらに、ＯＢ補正部１０１で付加されたラインでフィルタ部１０２の出力特性が収束することで、有効画像領域全体にわたって適切なクランプ処理を実施することができる。
【００６２】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６３】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６４】
１０１：ＯＢ補正部  １０２：フィルタ部  １０３：加算器  １０４：演算制御部  １０５：ＯＢ補正制御部  １０６：クランプ処理部  ２０３：撮像素子  ２０４：増幅器  ２０５：ＡＤ変換部  ２０６：クランプ処理部  ２０９：演算制御部  ２１２：タイミングジェネレータ  ３０１：撮像素子  ３０２：無効領域  ３０３：ＯＢ領域  ３０４：有効画素領域
【図１】
2016082300.tif 000003
【図２】
2016082300.tif 000004
【図３】
2016082300.tif 000005
【図４】
2016082300.tif 000006
【図５】
2016082300.tif 000007
【図６】
2016082300.tif 000008
【図７】
2016082300.tif 000009
【図８】
2016082300.tif 000010
【図９】
2016082300.tif 000011
【図１０】
2016082300.tif 000012
【図１１】
2016082300.tif 000013
【図１２】
2016082300.tif 000014
【図１３】
2016082300.tif 000015
【図１４】
2016082300.tif 000016
【図１５】
2016082300.tif 000017
【図１６】
2016082300.tif 000018
【図１７】
2016082300.tif 000019
【図１８】
2016082300.tif 000020
【図１９】
2016082300.tif 000021
【図２０】
2016082300.tif 000022
【図２１】
2016082300.tif 000023