(57)【要約】【課題】黒点を補正する固体撮像素子において、補正精度を向上させる。【解決手段】固体撮像素子において判定部は、複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する。補正部は、着目画素および隣接画素の両方のリセットレベルが閾値を超える場合には着目画素により生成された画素信号を補正する。【選択図】図１
2020088457.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと前記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定部と、
前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超える場合には前記着目画素の露光量に応じた信号レベルを補正する補正部と
を具備する固体撮像素子。
【請求項２】
前記判定部は、所定方向に配列された前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超えるか否かを判定する
請求項１記載の固体撮像素子。
【請求項３】
前記隣接画素は、第１の隣接画素と第２の隣接画素とを含み、
前記着目画素と前記第１の隣接画素とは所定方向に配列され、
前記着目画素と前記第２の隣接画素とは所定方向に垂直な方向に配列され、
前記判定部は、前記第１および第２の隣接画素の少なくとも一方と前記着目画素との両方の前記リセットレベルが前記閾値を超えるか否かを判定する
請求項１記載の固体撮像素子。
【請求項４】
前記リセットレベルとスロープ状に変化する参照信号とを比較して比較結果を出力する比較器と、
前記着目画素の前記比較結果と当該比較結果の反転結果とのいずれかを前記閾値に応じた所定のタイミングで前記着目画素の判定結果として保持する保持部と
をさらに保持し、
前記判定部は、前記隣接画素の判定結果をさらに取得し、前記着目画素および前記隣接画素の両方の前記判定結果が所定値であるか否かを判定する
請求項１記載の固体撮像素子。
【請求項５】
前記保持部は、前記隣接画素の前記比較結果と当該比較結果の反転結果とのいずれかを前記所定のタイミングで前記隣接画素の前記判定結果としてさらに保持する請求項４記載の固体撮像素子。
【請求項６】
前記補正部は、前記信号レベルを所定コードに補正する
請求項１記載の固体撮像素子。
【請求項７】
前記補正された信号レベルと前記着目画素の前記リセットレベルとの差分を求める演算部をさらに具備する
請求項１記載の固体撮像素子。
【請求項８】
複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと前記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定部と、
前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超える場合には前記着目画素の露光量に応じた信号レベルを補正する補正部と、
前記リセットレベルおよび前記信号レベルの差分である画素信号を処理する処理部と
を具備する撮像装置。
【請求項９】
複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと前記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定手順と、
前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超える場合には前記着目画素の露光量に応じた信号レベルを補正する補正手順と
を具備する固体撮像素子の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、リセットレベルと信号レベルとの差分を求める固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
【背景技術】
【０００２】
従来より、固体撮像素子においては、非常に高照度の光が画素に入射した際に、その画素内の光電変換素子からリセット動作時に電荷が漏れることにより輝度が低下し、黒く沈んでしまう現象が知られている。この現象は、実際には太陽黒点が生じていないにも関わらず、画像データ内に太陽黒点のような黒点が現れることから太陽黒点現象と呼ばれる。あるいは、黒化現象、黒沈み、または、黒潰れとも呼ばれる。この黒点を補正するために、例えば、リセットレベルと所定の閾値とを画素毎に比較し、リセットレベルが閾値を超えた際に、最大レベルを示すフルスケールに信号レベルを補正する固体撮像素子が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２２８８８５公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、信号レベルをフルスケールに補正することにより、黒点を明るい画素に補正することができる。しかしながら、上述の従来技術では、高照度でない画素を誤って黒点と判定するおそれがある。例えば、低照度の暗い画素において暗電流ノイズなどのランダムノイズの影響によりリセットレベルが閾値を超えることがあり、その画素を誤って明るく補正することによって画像データに白点などのノイズが生じてしまう、という問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、黒点を補正する固体撮像素子において、補正精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと上記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定部と、上記着目画素および上記隣接画素の両方の上記リセットレベルが上記閾値を超える場合には上記着目画素の露光量に応じた信号レベルを補正する補正部とを具備する固体撮像素子、および、その制御方法である。これにより、着目画素および隣接画素の両方のリセットレベルが閾値を超える場合に信号レベルが補正されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記判定部は、所定方向に配列された上記着目画素および上記隣接画素の両方の上記リセットレベルが上記閾値を超えるか否かを判定してもよい。これにより、所定方向に配列された着目画素および隣接画素の両方のリセットレベルが閾値を超える場合に信号レベルが補正されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記隣接画素は、第１の隣接画素と第２の隣接画素とを含み、上記着目画素と上記第１の隣接画素とは所定方向に配列され、上記着目画素と上記第２の隣接画素とは所定方向に垂直な方向に配列され、上記判定部は、上記第１および第２の隣接画素の少なくとも一方と上記着目画素との両方の上記リセットレベルが上記閾値を超えるか否かを判定してもよい。これにより、第１および第２の隣接画素の少なくとも一方と着目画素との両方のリセットレベルが閾値を超える場合に信号レベルが補正されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記リセットレベルとスロープ状に変化する参照信号とを比較して比較結果を出力する比較器と、上記着目画素の上記比較結果と当該比較結果の反転結果とのいずれかを上記閾値に応じた所定のタイミングで上記着目画素の判定結果として保持する保持部とをさらに保持し、上記判定部は、上記隣接画素の判定結果をさらに取得し、上記着目画素および上記隣接画素の両方の上記判定結果が所定値であるか否かを判定してもよい。これにより、所定のタイミングで保持された着目画素の判定結果と、取得された隣接画素の判定結果とに基づいて判定が行われるという作用をもたらす。
【００１０】
また、この第１の側面において、上記保持部は、上記隣接画素の上記比較結果と当該比較結果の反転結果とのいずれかを上記所定のタイミングで上記隣接画素の上記判定結果としてさらに保持してもよい。これにより、所定のタイミングで保持された着目画素および隣接画素の判定結果と、取得された隣接画素の判定結果とに基づいて判定が行われるという作用をもたらす。
【００１１】
また、この第１の側面において、上記補正部は、上記信号レベルを所定コードに補正してもよい。これにより、着目画素および隣接画素の両方のリセットレベルが閾値を超える場合に信号レベルが所定コードに補正されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記補正された信号レベルと上記着目画素の上記リセットレベルとの差分を求める演算部をさらに具備することもできる。これにより、相関二重サンプリング処理が行われるという作用をもたらす。
【００１３】
また、本技術の第２の側面は、複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと上記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定部と、上記着目画素および上記隣接画素の両方の上記リセットレベルが上記閾値を超える場合には上記着目画素の露光量に応じた信号レベルを補正する補正部と、上記リセットレベルおよび上記信号レベルの差分である画素信号を処理する処理部とを具備する撮像装置である。これにより、着目画素および隣接画素の両方のリセットレベルが閾値を超える場合に信号レベルが補正され、相関二重サンプリング処理が行われるという作用をもたらす。
【図面の簡単な説明】
【００１４】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。
【図３】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態におけるカラム信号処理部の一構成例を示すブロック図である。
【図５】本技術の第１の実施の形態におけるタイミング制御回路の一構成例を示すブロック図である。
【図６】本技術の第１の実施の形態におけるＡＤ変換器の一構成例を示すブロック図である。
【図７】本技術の第１の実施の形態における計数部の一構成例を示す回路図である。
【図８】本技術の第１の実施の形態における着目画素のリセットレベルが閾値以下のときの固体撮像素子の動作の一例を示すタイミングチャートである。
【図９】本技術の第１の実施の形態における隣接画素のリセットレベルが閾値以下のときの固体撮像素子の動作の一例を示すタイミングチャートである。
【図１０】本技術の第１の実施の形態における着目画素および隣接画素のリセットレベルが閾値を超えるときの固体撮像素子の動作の一例を示すタイミングチャートである。
【図１１】本技術の第１の実施の形態における補正方法を説明するための図である。
【図１２】比較例と本技術の第１の実施の形態とにおける画像データの一例を示す図である。
【図１３】本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。
【図１４】本技術の第２の実施の形態における計数部の一構成例を示す回路図である。
【図１５】本技術の第１の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。
【図１６】本技術の第１の実施の形態における次の行の固体撮像素子の動作の一例を示すタイミングチャートである。
【図１７】車両制御システムの概略的な構成例を示すブロック図である。
【図１８】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（着目画素と隣接する列との判定結果を用いる例）
２．第２の実施の形態（着目画素と隣接する行および列との判定結果を用いる例）
３．移動体への応用例
【００１６】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するものであり、撮像レンズ１１０、固体撮像素子２００、記録部１２０および撮像制御部１３０を備える。撮像装置１００としては、例えば、スマートフォン、デジタルカメラ、パーソナルコンピュータ、車載カメラやＩｏＴ（Internet of Things）カメラが想定される。
【００１７】
撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、撮像制御部１３０の制御に従って画像データを撮像するものである。この固体撮像素子２００は、撮像した画像データを記録部１２０に信号線２０９を介して供給する。記録部１２０は、画像データを記録するものである。
【００１８】
撮像制御部１３０は、固体撮像素子２００を制御して画像データを撮像させるものである。この撮像制御部１３０は、例えば、垂直同期信号ＶＳＹＮＣを含む制御信号を固体撮像素子２００に信号線１３９を介して供給する。この垂直同期信号ＶＳＹＮＣは、画像データの撮像タイミングを示す、一定の周波数（３０ヘルツなど）の周期信号である。
【００１９】
なお、撮像装置１００は、インターフェースをさらに備え、そのインターフェースにより画像データを外部に送信してもよいし、表示部をさらに備え、表示部に画像データを表示してもよい。
【００２０】
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された画素チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ−Ｃｕ接合やバンプにより接続することもできる。
【００２１】
図３は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、垂直走査回路２１０、画素アレイ部２２０およびＤＡＣ（Digital to Analog Converter）２３０を備える。また、固体撮像素子２００は、読出し電流制御部２４０、タイミング制御回路２５０、カラム信号処理部３００および水平走査回路２６０を備える。
【００２２】
画素アレイ部２２０には、複数の画素２２１が二次元格子状に配列される。以下、水平方向に配列された画素２２１の集合を「行」と称し、行に垂直な方向に配列された画素２２１の集合を「列」と称する。また、行数をＸ（Ｘは、整数）行とし、列数をＹ（Ｙは、整数）列とする。
【００２３】
垂直走査回路２１０は、タイミング制御回路２５０の制御に従って、行を順に駆動し、その行内の画素２２１のそれぞれにアナログの画素信号を出力させるものである。
【００２４】
ＤＡＣ２３０は、タイミング制御回路２５０からのデジタル信号に対するＤＡ（Digital to Analog）変換により、所定の参照信号を生成するものである。参照信号として、例えばのこぎり刃状のランプ信号が用いられる。
【００２５】
読出し電流制御部２４０は、画素２２１に画素信号の読出用の動作電流を供給するものである。
【００２６】
タイミング制御回路２５０は、垂直同期信号ＶＳＹＮＣに同期して、垂直走査回路２１０、ＤＡＣ２３０、カラム信号処理部３００および水平走査回路２６０の動作タイミングを制御するものである。
【００２７】
カラム信号処理部３００は、列ごとに、画素信号に対して、ＡＤ（Analog to Digital）変換処理やＣＤＳ（Correlated Double Sampling）処理などの様々な信号処理を実行するものである。このカラム信号処理部３００は、処理後の画素信号からなる画像データを記録部１２０に出力する。水平走査回路２６０は、処理後の画素信号を順に出力させるものである。
【００２８】
［カラム信号処理部の構成例］
図４は、本技術の第１の実施の形態におけるカラム信号処理部３００の一構成例を示すブロック図である。このカラム信号処理部３００は、複数のＡＤ変換器３１０と、複数のメモリ３５０と、出力部３６０と、デジタル演算部３７０と、インターフェース部３８０とを備える。ＡＤ変換器３１０およびメモリ３５０は、列ごとに配置される。列数をＹとすると、ＡＤ変換器３１０およびメモリ３５０は、Ｙ個ずつ配置される。
【００２９】
ＡＤ変換器３１０は、ＤＡＣ２３０からの参照信号ＲＭＰを用いて、対応する列のアナログの画素信号Ｖｉｎに対してＡＤ変換処理およびＣＤＳ処理を行うものである。このＡＤ変換器３１０は、処理後のデジタルの画素信号Ｄｏｕｔを、対応するメモリ３５０に保持させる。
【００３０】
メモリ３５０は、画素信号Ｄｏｕｔを保持し、水平走査回路２６０の制御に従って出力部３６０に出力するものである。
【００３１】
出力部３６０は、メモリからの画素信号Ｄｏｕｔをデジタル演算部３７０に出力するものである。
【００３２】
デジタル演算部３７０は、画素信号Ｄｏｕｔに対して、暗電流補正処理やデモザイク処理などの所定の信号処理を行うものである。このデジタル演算部３７０は、処理後の画素信号からなる画像データをインターフェース部３８０に供給する。なお、デジタル演算部３７０は、特許請求の範囲に記載の処理部の一例である。
【００３３】
インターフェース部３８０は、デジタル演算部３７０からの画像データを記録部１２０に出力するものである。
【００３４】
［タイミング制御回路の構成例］
図５は、本技術の第１の実施の形態におけるタイミング制御回路２５０の一構成例を示すブロック図である。このタイミング制御回路２５０は、タイミングジェネレータ２５１およびクロックジェネレータ２５２を備える。
【００３５】
タイミングジェネレータ２５１は、垂直同期信号ＶＳＹＮＣに同期してＡＤ変換器３１０などの動作タイミングを制御するための制御信号を生成するものである。
【００３６】
クロックジェネレータ２５２は、垂直同期信号ＶＳＹＮＣに同期して、その垂直同期信号ＶＳＹＮＣよりも高い周波数のクロック信号ＣＬＫを生成するものである。クロック信号ＣＬＫは、ＡＤ変換器３１０などに供給される。
【００３７】
［ＡＤ変換器の構成例］
図６は、本技術の第１の実施の形態におけるＡＤ変換器３１０の一構成例を示すブロック図である。このＡＤ変換器３１０は、比較器３１１および計数部３２０を備える。比較器３１１と、その前段の回路（画素アレイ部２２０など）とは、例えば、画素チップ２０１に配置され、計数部３２０と、その後段の回路とは、回路チップ２０２に配置される。
【００３８】
比較器３１１は、画素アレイ部２２０からの対応する列の画素信号Ｖｉｎと、ＤＡＣ２３０からの参照信号ＲＭＰとを比較するものである。この比較器３１１は、比較結果ＶＣＯを計数部３２０に供給する。
【００３９】
計数部３２０は、比較結果ＶＣＯが反転するまでの期間に亘って計数値を計数するものである。また、計数部３２０は、対応する列の画素２２１に着目し、その画素２２１のリセットレベルが所定の閾値を超えるか否かを判定する。ここで、リセットレベルは、画素２２１を初期化した際の画素信号Ｖｉｎの基準値からの変動量である。一方、露光終了時における露光量に応じた画素信号Ｖｉｎの変動量は、信号レベルと呼ばれる。
【００４０】
また、計数部３２０が着目した画素２２１を以下、「着目画素」と称し、着目画素に隣接する画素２２１を「隣接画素」と称する。ここで、「隣接する」とは、着目画素の座標を（ｘ、ｙ）とすると、座標（ｘ＋１、ｙ）、（ｘ−１、ｙ）、（ｘ、ｙ＋１）および（ｘ、ｙ−１）のいずれかに位置することを意味する。ここで、ｘは、１乃至Ｘの整数であり、ｙは、１乃至Ｙの整数である。
【００４１】
そして、計数部３２０は、着目画素の判定結果を行方向において隣接する計数部３２０に供給し、それらの隣接する計数部３２０から隣接画素の判定結果を受け取る。例えば、ｙ列目の計数部３２０は、ｙ列目の画素の判定結果Ｓｏｕｔｙを生成し、ｙ−１列目およびｙ＋１列目の計数部３２０に出力する。また、ｙ列目の計数部３２０は、ｙ−１列目およびｙ＋１列目の計数部３２０から、判定結果Ｓｏｕｔ（ｙ−１）およびＳｏｕｔ（ｙ＋１）を受け取る。
【００４２】
続いて計数部３２０は、着目画素および隣接画素のそれぞれの判定結果に基づいて計数値を補正し、補正後の計数値を示すデータを画素信号Ｄｏｕｔとしてメモリ３５０に供給する。補正方法の詳細については後述する。
【００４３】
なお、比較器３１１等を画素チップ２０１に配置し、計数部３２０等を回路チップ２０２に配置しているが、画素チップ２０１および回路チップ２０２のそれぞれに配置する回路は、上述の例に限定されない。
【００４４】
［計数部の構成例］
図７は、本技術の第１の実施の形態における計数部３２０の一構成例を示す回路図である。この計数部３２０は、インバータ３２１、ラッチ回路３２２、判定部３３０、補正部３４０およびカウンタ３２３を備える。
【００４５】
インバータ３２１は、比較器３１１の比較結果ＶＣＯを反転するものである。このインバータ３２１は、反転結果ＸＶＣＯをラッチ回路３２２および補正部３４０に出力する。
【００４６】
ラッチ回路３２２は、タイミング制御回路２５０からの制御信号ＬＡＴの示すタイミングで反転結果ＸＶＣＯを保持するものである。この制御信号ＬＡＴは、参照信号ＲＭＰがスロープ状に変化する期間内の所定のタイミングを示し、このタイミングの参照信号ＲＭＰの値は、リセットレベルと比較される閾値を示す。
【００４７】
したがって、制御信号ＬＡＴの示すタイミングにおける比較結果ＶＣＯ、および、その反転結果ＸＶＣＯの値は、リセットレベルが閾値より高いか否かを判定した判定結果に該当する。例えば、リセットレベルが閾値を超える場合に、制御信号ＬＡＴに係るタイミングで反転結果ＸＶＣＯ（判定結果）がローレベルになり、リセットレベルが閾値以下である場合にハイレベルになる。
【００４８】
ｙ列目のラッチ回路３２２は、制御信号ＬＡＴの示すタイミングで反転結果ＸＶＣＯをｙ列目の判定結果Ｓｏｕｔｙとして保持し、その判定結果Ｓｏｕｔｙを隣接する列の計数部３２０に供給する。また、ｙ列目のラッチ回路３２２は、判定結果Ｓｏｕｔｙを着目画素の判定結果Ｓｏｕｔｓとして判定部３３０に供給する。例えば、２列目のラッチ回路３２２は、判定結果Ｓｏｕｔ２を隣接する列の計数部３２０に供給し、判定部３３０に着目画素の判定結果Ｓｏｕｔｓとして供給する。なお、ラッチ回路３２２は、特許請求の範囲に記載の保持部の一例である。
【００４９】
判定部３３０は、着目画素の判定結果Ｓｏｕｔｓと、隣接画素の判定結果とに基づいて、着目画素および隣接画素の両方のリセットレベルが閾値を超えるか否かを判定するものである。この判定部３３０は、隣接する列の計数部３２０から隣接画素の判定結果を受け取る。例えば、２列目の判定部３３０は、１列目および３列目の計数部３２０から、１列目の判定結果Ｓｏｕｔ１と３列目の判定結果Ｓｏｕｔ３とを受け取る。また、判定部３３０は、ＡＮＤ（論理積）ゲート３３１およびＯＲ（論理和）ゲート３３２を備える。
【００５０】
ＡＮＤゲート３３１は、２つの隣接画素のそれぞれの判定結果の論理積を判定結果ＳｏｕｔｎとしてＯＲゲート３３２に出力するものである。この判定結果Ｓｏｕｔｎは、２つの隣接画素の少なくとも一方においてリセットレベルが閾値を超えたか否かを示す。例えば、２つの隣接画素の少なくとも一方においてリセットレベルが閾値を超えた場合に判定結果Ｓｏｕｔｎはローレベルとなり、そうでない場合にハイレベルとなる。
【００５１】
ＯＲゲート３３２は、隣接画素の判定結果Ｓｏｕｔｎと、着目画素の判定結果Ｓｏｕｔｓと、制御信号Ｃｔｒｌとの論理和を最終的な判定結果Ｓｏｕｔｎ'として補正部３４０に供給するものである。制御信号Ｃｔｒｌは、カウンタ３２３が、リセットレベルの変換時に比較結果に応じたカウント動作を行うための制御信号であり、タイミング制御回路２５０などにより供給される。この判定結果Ｓｏｕｔｎ'は、隣接画素および着目画素の両方のリセットレベルが閾値を超えたか否かを示す。例えば、隣接画素および着目画素の両方のリセットレベルが閾値を超えた場合に判定結果Ｓｏｕｔｎ'はローレベルとなり、そうでない場合にハイレベルとなる。
【００５２】
なお、判定部３３０をＡＮＤゲート３３１およびＯＲゲート３３２により実現しているが、隣接画素および着目画素の両方のリセットレベルが閾値を超えるか否かを判定することができるのであれば、この構成に限定されない。例えば、反転結果ＸＶＣＯの代わりにラッチ回路３２２が比較結果ＶＣＯを保持するものとする。この場合には、保持される論理値が逆になるため、ＡＮＤゲート３３１の代わりにＯＲゲートが配置され、ＯＲゲート３３２の代わりにＡＮＤゲートが配置される。
【００５３】
補正部３４０は、判定結果Ｓｏｕｔｎ'に基づいて、カウンタ３２３の計数値（すなわち、画素信号Ｄｏｕｔ）を補正するものである。この補正部３４０は、ＮＡＮＤゲート３４１およびＡＮＤゲート３４２を備える。
【００５４】
ＮＡＮＤゲート３４１は、判定結果Ｓｏｕｔｎ'と反転結果ＸＶＣＯとの否定論理積をイネーブル信号ｃｋｅｎとしてＡＮＤゲート３４２に出力するものである。イネーブル信号ｃｋｅｎは、カウンタ３２３の計数動作を有効または無効にするための制御信号である。例えば、カウンタ３２３を有効にする場合にイネーブル信号ｃｋｅｎにハイレベルが設定され、無効にする場合にローレベルが設定される。
【００５５】
ＡＮＤゲート３４２は、タイミング制御回路２５０からのクロック信号ＣＬＫとイネーブル信号ｃｋｅｎとの論理積をＣＬＫ'としてカウンタ３２３に出力するものである。
【００５６】
これらのＮＡＮＤゲート３４１およびＡＮＤゲート３４２により、隣接画素および着目画素の両方のリセットレベルが閾値を超えた場合に、例えば、計数値をフルスケールに補正することができる。
【００５７】
なお、補正部３４０をＮＡＮＤゲート３４１およびＡＮＤゲート３４２により実現しているが、判定結果Ｓｏｕｔｎ'に基づいて、カウンタ３２３の計数値を補正することができるのであれば、この構成に限定されない。
【００５８】
カウンタ３２３は、ＡＮＤゲート３４２からのクロック信号ＣＬＫ'に同期して計数値を計数するものである。また、カウンタ３２３には、タイミング制御回路２５０からの切替信号ＵＤと、リセット信号ＲＳＴとが入力される。切替信号ＵＤは、カウンタ３２３の増分値の符号を切り替えるための制御信号である。リセット信号ＲＳＴは、カウンタ３２３の計数値を所定の初期値（「０」など）にするための制御信号である。
【００５９】
タイミング制御回路２５０は、リセットレベルの生成前にリセット信号ＲＳＴによりカウンタ３２３の計数値を初期化する。そして、タイミング制御回路２５０は、リセットレベルのＡＤ変換の際に切替信号ＵＤによりカウンタ３２３にダウンカウントさせる。続いて、信号レベルのＡＤ変換の際にタイミング制御回路２５０は、切替信号ＵＤにより増分値の符号を切り替え、カウンタ３２３にアップカウントさせる。
【００６０】
カウンタ３２３は、ダウンカウントおよびアップカウントにより、リセットレベルと信号レベルとの差分を表す計数値を生成し、デジタルの画素信号Ｄｏｕｔとしてメモリ３５０に出力する。これにより、ＡＤ変換処理およびＣＤＳ処理が行われる。なお、カウンタ３２３は、特許請求の範囲に記載の演算部の一例である。
【００６１】
なお、計数部３２０は、ＡＤ変換処理およびＣＤＳ処理の両方を行っているが、ＡＤ変換処理のみを実行することもできる。この場合に、例えば、カウンタ３２３はアップカウントのみを行い、後段の回路（デジタル演算部３７０など）がＣＤＳ処理を実行すればよい。
【００６２】
［固体撮像素子の動作例］
図８は、本技術の第１の実施の形態における着目画素のリセットレベルが閾値以下のときの固体撮像素子２００の動作の一例を示すタイミングチャートである。
【００６３】
撮像制御部１３０は、垂直同期信号ＶＳＹＮＣを供給する。垂直同期信号ＶＳＹＮＣは、例えば、タイミングＴ１において立上り、次にタイミングＴ７において立ち上がる。
【００６４】
垂直走査回路２１０は、行を順に選択して露光させるローリングシャッター制御を行う。例えば、タイミングＴ２に１行目の露光を開始させ、タイミングＴ３で２行目の露光を開始させる。なお、垂直走査回路２１０は、ローリングシャッター制御の代わりに、全画素を同時に露光するグローバルシャッター制御を行うこともできる。
【００６５】
また、垂直走査回路２１０は、露光終了時に画素信号のＡＤ変換（言い換えれば、読出し）をＡＤ変換器３１０に行わせる。例えば、垂直走査回路２１０は、１行目の露光終了時のタイミングＴ４乃至Ｔ５において１行目の読出しを行わせ、２行目の露光終了時のタイミングＴ５乃至Ｔ６において２行目の読出しを行わせる。
【００６６】
タイミングＴ４乃至Ｔ５などの読出し期間において、ＤＡＣ２３０は、参照信号ＲＭＰを供給する。この参照信号ＲＭＰは、タイミングＴ１１から、タイミングＴ１３の直後までのリセットレベルの読出し期間に亘ってスロープ状に変化する。同図において、一点鎖線は、アナログの画素信号Ｖｉｎの軌跡を示す。
【００６７】
インバータ３２１は、比較器３１１の比較結果ＶＣＯを反転して反転結果ＸＶＣＯとして出力する。タイミングＴ１１以降において参照信号ＲＭＰは減少し続け、タイミングＴ１２で画素信号Ｖｉｎより低くなったものとする。このときに、反転結果ＸＶＣＯは、ローレベルからハイレベルに反転する。また、タイミングＴ１３において、制御信号Ｃｔｒｌは、ハイレベルからローレベルとなる。これにより、信号レベルの変換時のみに、着目画素および隣接画素の両方が黒点であるか否かの判定条件がカウント動作に対して適用される。
【００６８】
そして、タイミングＴ１２の後の所定のタイミングＴ１３において、タイミング制御回路２５０は、制御信号ＬＡＴを供給し、２列目のラッチ回路３２２は、そのときの反転結果ＸＶＣＯを判定結果Ｓｏｕｔ２として保持する。
【００６９】
ここで、画素２２１が電荷として電子を蓄積する場合、電子量に応じて画素信号Ｖｉｎのレベルは、所定の基準値よりも低くなる。同図においては、タイミングＴ１１以前の画素信号Ｖｉｎのレベルが基準値であり、この基準値からの変動量がリセットレベルまたは信号レベルに該当する。また、比較結果が反転するタイミングＴ１２からタイミングＴ１３までの参照信号ＲＭＰの変動量は、閾値に該当する。タイミングＴ１３における画素信号Ｖｉｎの変動量（リセットレベル）は、参照信号ＲＭＰの変動量（閾値）以下であるため、２列目の判定結果Ｓｏｕｔ２はハイレベルとなる。
【００７０】
また、隣接する１列目および３列目のそれぞれのリセットレベルは、両方とも閾値以下であるものとする。この場合にＡＮＤゲート３３１は、タイミングＴ１３においてハイレベルの判定結果Ｓｏｕｔｎを出力する。
【００７１】
上述したように、２列目の画素を着目画素として着目画素および隣接画素のそれぞれのリセットレベルは、いずれも閾値以下である。この場合にＯＲゲート３３２は、ハイレベルの判定結果Ｓｏｕｔ２'を出力する。
【００７２】
タイミングＴ１２からタイミングＴ１３の直後までの間において、ハイレベルの判定結果Ｓｏｕｔ２'と、ハイレベルの反転結果ＸＶＣＯとにより、ＮＡＮＤゲート３４１は、イネーブル信号ｃｋｅｎをハイレベルからローレベルにする。
【００７３】
また、タイミングＴ１１から、比較結果が反転するタイミングＴ１２、カウンタ３２３は、クロック信号ＣＬＫに同期して計数値ＣＮＴをダウンカウントする。
【００７４】
続いて、露光終了後に信号レベルが生成されると、参照信号ＲＭＰは、タイミングＴ１４から、タイミングＴ１６までの信号レベルの読出し期間に亘ってスロープ状に変化する。
【００７５】
タイミングＴ１５で参照信号ＲＭＰが画素信号Ｖｉｎより低くなると、反転結果ＸＶＣＯは、ローレベルからハイレベルに反転する。また、ＮＡＮＤゲート３４１は、イネーブル信号ｃｋｅｎをハイレベルからローレベルにする。
【００７６】
また、タイミングＴ１４から、イネーブル信号ｃｋｅｎがローレベルになるタイミングＴ１５において、カウンタ３２３は、クロック信号ＣＬＫに同期して計数値ＣＮＴをアップカウントする。このアップカウントにより、信号レベルがＡＤ変換される。また、ダウンカウントおよびアップカウントにより、ＣＤＳ処理が行われる。
【００７７】
上述したように、着目画素のリセットレベルが閾値以下である場合には、その着目画素は黒点の生じた画素ではない。このため、隣接画素のリセットレベルに関わらず、着目画素の信号レベルの計数値ＣＮＴは補正されない。
【００７８】
図９は、本技術の第１の実施の形態における隣接画素のリセットレベルが閾値以下のときの固体撮像素子の動作の一例を示すタイミングチャートである。
【００７９】
参照信号ＲＭＰは、タイミングＴ１１から、タイミングＴ１３の直後までのリセットレベルの読出し期間に亘ってスロープ状に変化する。
【００８０】
ここで、暗電流ノイズなどのランダムノイズにより、リセットレベルが変動し、閾値を超える値になったものとする。この場合、リセットレベルが大きいため、比較結果ＶＣＯおよび反転結果ＸＶＣＯがリセットレベルの読出し期間内において反転しない。
【００８１】
そして、タイミングＴ１２の後の所定のタイミングＴ１３において、タイミング制御回路２５０は、制御信号ＬＡＴを供給し、２行目のラッチ回路３２２は、ローレベルの反転結果ＸＶＣＯを着目画素の判定結果Ｓｏｕｔ２として保持する。
【００８２】
一方、隣接画素では、リセットレベルが閾値以下であり、ＡＮＤゲート３３１は、タイミングＴ１３においてハイレベルの判定結果Ｓｏｕｔｎを出力する。
【００８３】
また、タイミングＴ１１から、タイミングＴ１３の直後において、カウンタ３２３は、クロック信号ＣＬＫに同期して計数値ＣＮＴをダウンカウントする。
【００８４】
タイミングＴ１４以降の動作は、図８に例示した動作と同様である。すなわち、信号レベルは補正されない。このように着目画素のリセットレベルが閾値を超えていても、隣接画素のリセットレベルが閾値以下である場合、信号レベルは補正されない。
【００８５】
図１０は、本技術の第１の実施の形態における着目画素および隣接画素のリセットレベルが閾値を超えるときの固体撮像素子の動作の一例を示すタイミングチャートである。
【００８６】
参照信号ＲＭＰは、タイミングＴ１１から、タイミングＴ１３の直後までのリセットレベルの読出し期間に亘ってスロープ状に変化する。
【００８７】
ここで、非常に高照度の光が画素に入射し、その画素内の光電変換素子からリセット動作時に電荷が漏れることによりリセットレベルが閾値を超えたものとする。リセットレベルが大きいため、比較結果ＶＣＯおよび反転結果ＸＶＣＯがリセットレベルの読出し期間内において反転しない。
【００８８】
そして、タイミングＴ１２の後の所定のタイミングＴ１３において、タイミング制御回路２５０は、制御信号ＬＡＴを供給し、２行目のラッチ回路３２２は、ローレベルの反転結果ＸＶＣＯを着目画素の判定結果Ｓｏｕｔ２として保持する。
【００８９】
さらに、１列目または３列目の隣接画素においてリセットレベルが閾値を超え、ＡＮＤゲート３３１は、タイミングＴ１３においてローレベルの判定結果Ｓｏｕｔｎを出力したものとする。
【００９０】
着目画素および隣接画素の両方のリセットレベルが閾値を超えるため、ＯＲゲート３３２は、タイミングＴ１３以降においてローレベルの判定結果Ｓｏｕｔ２'を出力する。
【００９１】
ローレベルの判定結果Ｓｏｕｔ２'により、ＮＡＮＤゲート３４１は、タイミングＴ１６までの信号レベルの読出し期間に亘ってイネーブル信号ｃｋｅｎをハイレベルにする。これにより、信号レベルの読出し期間に亘って、カウンタ３２３が計数値ＣＮＴを計数し、信号レベルはフルスケールに補正される。信号レベルをフルスケールに補正することにより、リセットレベルと信号レベルとの差分が補正しない場合よりも大きくなり、黒点の生じた暗い画素が明るい画素に補正される。
【００９２】
図８乃至１０に例示したように、着目画素のリセットレベルが閾値以下である場合、隣接画素のリセットレベルに関わらず、着目画素の信号レベルは補正されない。また、着目画素のリセットレベルが閾値を超えていても、隣接画素のリセットレベルが閾値以下である場合、信号レベルは補正されない。一方、着目画素および隣接画素の両方のリセットレベルが閾値を超える場合、信号レベルがフルスケールに補正される。
【００９３】
ここで、隣接画素のリセットレベルに関わらず、着目画素のリセットレベルが閾値を超える場合に信号レベルを補正する比較例を想定する。この比較例では、低照度の画素において暗電流ノイズなどのランダムノイズの影響によりリセットレベルが閾値を超えた場合に、信号レベルが誤って補正されてしまうおそれがある。この場合には、暗い画素であるにも関わらず、明るい画素に誤補正されるため、画像データにノイズが生じてしまう。
【００９４】
これに対して、着目画素および隣接画素の両方のリセットレベルが閾値を超える場合に信号レベルを補正する上述の方法では、誤補正を抑制することができる。これは、ランダムノイズは、単画素で生じることが多いのに対し、黒点は、単画素で生じることは現実的には無く、多くは、複数の画素が集合した塊点となるためである。
【００９５】
図１１は、本技術の第１の実施の形態における補正方法を説明するための図である。同図における斜線部分は、リセットレベルが閾値を超えると判定された画素を示す。同図におけるａは、左右の隣接画素と、着目画素との全てのリセットレベルが閾値を超える場合の補正方法を説明するための図である。この場合に、着目画素は黒点であると判定され、信号レベルがフルスケールに補正される。
【００９６】
同図におけるｂは、左右の隣接画素の一方と、着目画素とのそれぞれのリセットレベルが閾値を超える場合の補正方法を説明するための図である。この場合にも着目画素は、黒点であると判定され、信号レベルがフルスケールに補正される。
【００９７】
同図におけるｃは、左右の隣接画素のリセットレベルが閾値以下であり、着目画素のリセットレベルが閾値を超える場合の補正方法を説明するための図である。この場合に着目画素は、黒点でないと判定され、信号レベルは補正されない。
【００９８】
同図におけるｄは、左右の隣接画素と着目画素との全てのリセットレベルが閾値以下である場合の補正方法を説明するための図である。この場合においても着目画素は、黒点でないと判定され、信号レベルが補正されない。
【００９９】
同図に例示したように、左右の隣接画素の少なくとも一方のリセットレベルが閾値を超え、かつ、着目画素のリセットレベルが閾値を超える場合に信号レベルが補正され、そうでない場合には信号レベルが補正されない。
【０１００】
図１２は、比較例と本技術の第１の実施の形態とにおける画像データの一例を示す図である。同図におけるａは、黒点補正を全く行わない比較例の画像データ５００の一例を示し、同図におけるｂは、黒点補正を行った画像データ５０２の一例を示す。
【０１０１】
黒点補正を全く行わない場合、同図におけるａの画像データ５００内において、太陽などの非常に強い光が入射する個所において、実際には存在しない黒点５０１が生じることがある。これは、光電変換素子からリセット動作時に電荷が漏れることによりリセットレベルが閾値より大きくなり、リセットレベルと信号レベルとの間の差分（すなわち、画素信号）が小さくなってしまうためである。この黒点５０１は、同図に例示するように、単画素で生じることは現実的には無く、多くは、複数の画素が集合した塊点となる。
【０１０２】
したがって、隣接画素と着目画素との両方のリセットレベルが閾値を超える場合に固体撮像素子２００が信号レベルを補正することにより、同図におけるｂに例示するように黒点を補正して、補正精度を向上させることができる。
【０１０３】
図１３は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
【０１０４】
固体撮像素子２００内の垂直走査回路２１０は、行を選択して駆動する（ステップＳ９０１）。また、カラムごとのＡＤ変換器３１０は、着目画素のリセットレベルが閾値を超えるか否かを判断する（ステップＳ９０２）。
【０１０５】
着目画素のリセットレベルが閾値を超える場合に（ステップＳ９０２：Ｙｅｓ）、ＡＤ変換器３１０は、隣接画素のリセットレベルが閾値を超えるか否かを判断する（ステップＳ９０３）。
【０１０６】
隣接画素のリセットレベルが閾値を超える場合に（ステップＳ９０３：Ｙｅｓ）、ＡＤ変換器３１０は、着目画素の信号レベルをフルスケールに補正する（ステップＳ９０４）。
【０１０７】
着目画素のリセットレベルが閾値以下の場合（ステップＳ９０２：Ｎｏ）、または、隣接画素のリセットレベルが閾値以下の場合（ステップＳ９０３：Ｎｏ）、垂直走査回路２１０は、信号レベルを補正せずにＡＤ変換する（ステップＳ９０５）。
【０１０８】
ステップＳ９０４またはＳ９０５の後に垂直走査回路２１０は、全画素の読出しが完了したか否かを判断する（ステップＳ９０６）。全画素の読出しが完了していない場合（ステップＳ９０６：Ｎｏ）、垂直走査回路２１０は、ステップＳ９０１以降を繰り返し実行する。
【０１０９】
全画素の読出しが完了した場合に（ステップＳ９０６：Ｙｅｓ）、固体撮像素子２００は、画像データを撮像するための動作を終了する。複数の画像データを連続して撮像する場合には、垂直同期信号ＶＳＹＮＣに同期して、ステップＳ９０１乃至Ｓ９０６の処理が繰り返し実行される。
【０１１０】
このように、本技術の第１の実施の形態によれば、計数部３２０は、着目画素および隣接画素の両方のリセットレベルが閾値を超える場合に、その着目画素の信号レベルを補正するため、単画素で生じるランダムノイズの誤補正を抑制することができる。これにより、黒点補正を行う際の補正精度を向上させることができる。
【０１１１】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、着目画素と、隣接する列の隣接画素との判断結果に基づいて固体撮像素子２００が黒点補正を行っていた。しかし、着目画素と、隣接する行とからなる集合に黒点が生じる場合もある。このため、隣接する行の判断結果も用いることが望ましい。この第２の実施の形態の固体撮像素子２００は、着目画素と、隣接する行および列の隣接画素との判断結果に基づいて黒点補正を行う点において第１の実施の形態と異なる。
【０１１２】
図１４は、本技術の第２の実施の形態における計数部３２０の一構成例を示す回路図である。この第２の実施の形態の計数部３２０は、ラッチ回路３２４をさらに備える点において第１の実施の形態と異なる。
【０１１３】
ラッチ回路３２４は、タイミング制御回路２５０からの制御信号Ｐｒｅ＿ＬＡＴの示すタイミングで反転結果ＸＶＣＯを保持するものである。制御信号ＬＡＴおよびＰｒｅ＿ＬＡＴは、行ごとに交互に供給される。例えば、奇数行のリセットレベルの読出し期間内において所定のタイミングで制御信号Ｐｒｅ＿ＬＡＴが供給され、偶数行のリセットレベルの読出し期間内において所定のタイミングで制御信号ＬＡＴが供給される。これにより、ラッチ回路３２４には、着目画素に隣接する行の画素の反転結果ＸＶＣＯが保持される。例えば、着目画素の座標を（ｘ、ｙ）とすると、（ｘ＋１、ｙ）または（ｘ−１、ｙ）の隣接画素の反転結果ＸＶＣＯが保持される。この反転結果ＸＶＣＯは、隣接する行の判定結果ＳｏｕｔｐとしてＡＮＤゲート３３１に供給される。
【０１１４】
また、第２の実施の形態のＡＮＤゲート３３１は、隣接する行の判定結果Ｓｏｕｔｐと、隣接する列の判定結果（Ｓｏｕｔ１およびＳｏｕｔ３など）との論理積をＯＲゲート３３２に出力する。
【０１１５】
上述の構成により、計数部３２０は、隣接する行および列と、着目画素とのリセットレベルが閾値を超える場合に、着目画素の信号レベルを補正することができる。
【０１１６】
なお、計数部３２０は、ラッチ回路３２４により、隣接する２行（上側の行と下側の行）の一方の判定結果を保持しているが、ラッチ回路をさらに追加し、隣接する２行の両方の判定結果を保持することもできる。
【０１１７】
また、計数部３２０は、着目画素に隣接する画素の判定結果を用いているが、着目画素からのユークリッド距離が一定距離（２画素など）内の近傍画素の判定結果をさらに用いることもできる。
【０１１８】
図１５は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。
【０１１９】
垂直走査回路２１０は、１行目の露光終了時のタイミングＴ４乃至Ｔ５において１行目の読出しを行わせる。また、１行目のリセットレベルの読出し期間内のタイミングＴ１３において、タイミング制御回路２５０は、制御信号ＬＡＴおよびＰｒｅ＿ＬＡＴのうちＰｒｅ＿ＬＡＴのみを供給する。
【０１２０】
図１６は、本技術の第１の実施の形態における次の行の固体撮像素子の動作の一例を示すタイミングチャートである。
【０１２１】
垂直走査回路２１０は、２行目の露光終了時のタイミングＴ５乃至Ｔ６において２行目の読出しを行わせる。また、２行目のリセットレベルの読出し期間内のタイミングＴ１３において、タイミング制御回路２５０は、制御信号ＬＡＴおよびＰｒｅ＿ＬＡＴのうちＬＡＴのみを供給する。
【０１２２】
このように、本技術の第２の実施の形態によれば、計数部３２０は、隣接する列に加えて、隣接する行の判定結果も用いて着目画素の信号レベルを補正するため、第１の実施の形態と比較して補正精度をさらに向上させることができる。
【０１２３】
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１２４】
図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１２５】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
【０１２６】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１２７】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１２８】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１２９】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１３０】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１３１】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【０１３２】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３３】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１３４】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１３５】
図１８は、撮像部１２０３１の設置位置の例を示す図である。
【０１３６】
図１８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１３７】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１３８】
なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１３９】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１４０】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１４１】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１４２】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１４３】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、例えば、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、黒点補正の補正精度を向上させ、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
【０１４４】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４５】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１４６】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１４７】
なお、本技術は以下のような構成もとることができる。
（１）複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと前記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定部と、
前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超える場合には前記着目画素の露光量に応じた信号レベルを補正する補正部と
を具備する固体撮像素子。
（２）前記判定部は、所定方向に配列された前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超えるか否かを判定する
前記（１）記載の固体撮像素子。
（３）前記隣接画素は、第１の隣接画素と第２の隣接画素とを含み、
前記着目画素と前記第１の隣接画素とは所定方向に配列され、
前記着目画素と前記第２の隣接画素とは所定方向に垂直な方向に配列され、
前記判定部は、前記第１および第２の隣接画素の少なくとも一方と前記着目画素との両方の前記リセットレベルが前記閾値を超えるか否かを判定する
前記（１）または（２）に記載の固体撮像素子。
（４）前記リセットレベルとスロープ状に変化する参照信号とを比較して比較結果を出力する比較器と、
前記着目画素の前記比較結果と当該比較結果の反転結果とのいずれかを前記閾値に応じた所定のタイミングで前記着目画素の判定結果として保持する保持部と
をさらに保持し、
前記判定部は、前記隣接画素の判定結果をさらに取得し、前記着目画素および前記隣接画素の両方の前記判定結果が所定値であるか否かを判定する
前記（１）から（３）のいずれかに記載の固体撮像素子。
（５）前記保持部は、前記隣接画素の前記比較結果と当該比較結果の反転結果とのいずれかを前記所定のタイミングで前記隣接画素の前記判定結果としてさらに保持する前記（４）記載の固体撮像素子。
（６）前記補正部は、前記信号レベルを所定コードに補正する
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記補正された信号レベルと前記着目画素の前記リセットレベルとの差分を求める演算部をさらに具備する
前記（１）乃至（６）のいずれかに記載の固体撮像素子。
（８）複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと前記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定部と、
前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超える場合には前記着目画素の露光量に応じた信号レベルを補正する補正部と、
前記リセットレベルおよび前記信号レベルの差分である画素信号を処理する処理部と
を具備する撮像装置。
（９）複数の画素のうち着目した着目画素の初期化により生成されたリセットレベルと前記着目画素に隣接する隣接画素の初期化により生成されたリセットレベルとの両方が所定の閾値を超えるか否かを判定する判定手順と、
前記着目画素および前記隣接画素の両方の前記リセットレベルが前記閾値を超える場合には前記着目画素の露光量に応じた信号レベルを補正する補正手順と
を具備する固体撮像素子の制御方法。
【符号の説明】
【０１４８】
１００  撮像装置
１１０  撮像レンズ
１２０  記録部
１３０  撮像制御部
２００  固体撮像素子
２０１  画素チップ
２０２  回路チップ
２１０  垂直走査回路
２２０  画素アレイ部
２２１  画素
２３０  ＤＡＣ
２４０  読出し電流制御部
２５０  タイミング制御回路
２５１  タイミングジェネレータ
２５２  クロックジェネレータ
２６０  水平走査回路
３００  カラム信号処理部
３１０  ＡＤ変換器
３１１  比較器
３２０計数部
３２１  インバータ
３２２、３２４  ラッチ回路
３２３  カウンタ
３３０  判定部
３３１、３４２  ＡＮＤ（論理積）ゲート
３３２  ＯＲ（論理和）ゲート
３４０  補正部
３４１  ＮＡＮＤ（否定論理積）ゲート
３５０  メモリ
３６０  出力部
３７０  デジタル演算部
３８０  インターフェース部
１２０３１  撮像部
【図１】
2020088457.tif 000003
【図２】
2020088457.tif 000004
【図３】
2020088457.tif 000005
【図４】
2020088457.tif 000006
【図５】
2020088457.tif 000007
【図６】
2020088457.tif 000008
【図７】
2020088457.tif 000009
【図８】
2020088457.tif 000010
【図９】
2020088457.tif 000011
【図１０】
2020088457.tif 000012
【図１１】
2020088457.tif 000013
【図１２】
2020088457.tif 000014
【図１３】
2020088457.tif 000015
【図１４】
2020088457.tif 000016
【図１５】
2020088457.tif 000017
【図１６】
2020088457.tif 000018
【図１７】
2020088457.tif 000019
【図１８】
2020088457.tif 000020