(57)【要約】【課題】特徴量画像を撮像する撮像装置において、特徴量画像の画質を向上させる。【解決手段】撮像装置は、複数の画素回路と、特徴量抽出部とを具備する。この撮像装置において複数の画素回路のそれぞれは、受光量に応じたアナログ信号を生成して画素信号として出力する。また、撮像装置において特徴量抽出部は、複数の画素回路のうち注目した注目画素回路の近傍の近傍画素回路と注目画素回路とのそれぞれからの画素信号の差の大きさを近傍画素回路ごとに多値により表す特徴量を抽出する。【選択図】図１９
2019047383.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが受光量に応じたアナログ信号を生成して画素信号として出力する複数の画素回路と、
前記複数の画素回路のうち注目した注目画素回路の近傍の近傍画素回路と前記注目画素回路とのそれぞれからの前記画素信号の差の大きさを前記近傍画素回路ごとに多値により表す特徴量を抽出する特徴量抽出部と
を具備する撮像装置。
【請求項２】
オフセット電圧が互いに異なる複数の参照信号を順に供給する参照信号供給部をさらに具備し、
前記特徴量抽出部は、前記画素信号と前記複数の参照信号のそれぞれとを比較した比較結果に基づいて前記特徴量を抽出する
請求項１記載の撮像装置。
【請求項３】
前記特徴量抽出部は、
前記画素信号と前記複数の参照信号のそれぞれとを比較して前記比較結果を出力する比較部と、
前記比較結果に基づいて複数のローカルビットパターンを順に生成して記憶する記憶部と、
前記複数のローカルビットパターンからなるデータを前記特徴量に変換する特徴量変換部と
を備える請求項２記載の撮像装置。
【請求項４】
前記記憶部は、互いに異なるローカルビットパターンを生成して記憶する複数のデータ記憶部を備え、
前記特徴量変換部は、前記複数のデータ記憶部の全てに前記ローカルビットパターンが記憶された後に前記ローカルビットパターンのそれぞれを読み出して前記特徴量に変換する
請求項３記載の撮像装置。
【請求項５】
前記記憶部は、前記比較結果が反転したときの時刻を示す時刻コードをさらに記憶する請求項３記載の撮像装置。
【請求項６】
前記比較部は、前記注目画素回路からの前記画素信号と前記複数の参照信号のそれぞれとの前記比較結果を注目画素比較結果として出力するとともに前記近傍画素回路からの前記画素信号と前記複数の参照信号のそれぞれとの前記比較結果を近傍画素比較結果として出力し、
前記データ記憶部は、
前記近傍画素比較結果を保持するラッチ回路と、
前記注目画素比較結果が反転したときに前記近傍画素比較結果を前記ラッチ回路に保持させるラッチ制御回路と、
前記注目画素比較結果および前記近傍画素比較結果の一方を所定時間に亘って遅延させて前記ラッチ回路および前記ラッチ制御回路のいずれかに出力する遅延回路と
を備える請求項３記載の撮像装置。
【請求項７】
前記遅延回路は、前記注目画素比較結果を遅延させて前記ラッチ制御回路に出力する請求項６記載の撮像装置。
【請求項８】
前記遅延回路は、前記近傍画素比較結果を遅延させて前記ラッチ回路に出力する請求項６記載の撮像装置。
【請求項９】
前記特徴量抽出部は、
前記画素信号のそれぞれと所定の参照信号とを比較して比較結果として出力する比較部と、
前記注目画素回路に対応する前記比較結果が反転する時刻と前記近傍画素回路に対応する前記比較結果が反転する時刻との間の期間に亘って計数値を計数して前記特徴量として出力する計数部と
を具備する請求項１記載の撮像装置。
【請求項１０】
前記計数部は、前記注目画素回路に対応する前記比較結果と前記近傍画素回路に対応する前記比較結果との一方が他方よりも先に反転した場合には前記計数値を増分し、前記他方が前記一方よりも先に反転した場合には前記計数値を減分する
請求項９記載の撮像装置。
【請求項１１】
前記複数の画素回路は、複数のエリアブロックのそれぞれに配置され、
前記複数のエリアブロックのそれぞれは、
前記複数の画素回路と
前記複数の画素回路により供給される浮遊拡散層と
を備える請求項１記載の撮像装置。
【請求項１２】
前記近傍画素回路は、前記注目画素回路に対して点対称の位置の一対の近傍画素回路を含み、
前記特徴量抽出部は、前記一対の近傍画素回路の一方と前記注目画素回路とのそれぞれからの前記画素信号の差の大きさを多値により表す前記特徴量を抽出する
請求項１記載の撮像装置。
【請求項１３】
前記特徴量に基づいて所定の物体を認識する処理を行う画像処理部をさらに具備する
請求項１記載の撮像装置。
【請求項１４】
複数の画素回路のそれぞれが受光量に応じたアナログ信号を生成して画素信号として出力する出力手順と、
前記複数の画素回路のうち注目した注目画素回路の近傍の近傍画素回路と前記注目画素回路とのそれぞれからの前記画素信号の差の大きさを前記近傍画素回路ごとに多値により表す特徴量を抽出する特徴量抽出手順と
を具備する撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、画像の特徴量を抽出する撮像装置、および、固体撮像素子の制御方法に関する。
【背景技術】
【０００２】
従来より、画像認識、テクスチャ分割やリアルタイム動画解析などの画像処理を行うシステムなどにおいて、ＬＢＰ（Local Binary Pattern）が用いられている。ＬＢＰは、注目画素の近傍の近傍画素毎に、その近傍画素と注目画素との画素値の大小関係を２値（１ビット）で表した特徴量である。このＬＢＰは、画像全体の明るさの変化に対して頑健（ロバスト）であるという特性を有している。例えば、近傍画素を８画素として、画素ごとに８ビットのＬＢＰを算出し、それらのＬＢＰを二次元格子状に配列した画像を用いて画像認識を行う認識システムが提案されている（例えば、非特許文献１参照。）。以下、ＬＢＰなどの特徴量を二次元格子状に配列した画像を「特徴量画像」と称する。また、受光量に応じた値の画素データを二次元格子状に配列した一般的な画像を「通常画像」と称する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Timo Ojala, et al., Multiresolution Gray−Scale and Rotation invariant Texture Classification with Local Binary Patterns， IEEE Transactions on Pattern Analysis and Machine Intelligence， vol．24， no．7， July 2002
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、画像全体の明るさの変化に対して頑健なＬＢＰからなる特徴量画像を用いて画像認識を行うため、その明るさの変化に起因する画像認識の認識結果の変動を抑制することができる。しかしながら、ＬＢＰからなる特徴量画像は、一般に通常画像と比較して画質が低いという問題がある。画質が低いと画像認識の精度が低下するため、特徴量画像の画質を向上することが望ましい。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、特徴量画像を撮像する撮像装置において、特徴量画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、それぞれが受光量に応じたアナログ信号を生成して画素信号として出力する複数の画素回路と、上記複数の画素回路のうち注目した注目画素回路の近傍の近傍画素回路と上記注目画素回路とのそれぞれからの上記画素信号の差の大きさを上記近傍画素回路ごとに多値により表す特徴量を抽出する特徴量抽出部とを具備する撮像装置、および、その制御方法である。これにより、近傍画素回路と注目画素回路とのそれぞれからの画素信号の差の大きさを近傍画素回路ごとに多値により表す特徴量が抽出されるという作用をもたらす。
【０００７】
また、この第１の側面において、オフセット電圧が互いに異なる複数の参照信号を順に供給する参照信号供給部をさらに具備し、上記特徴量抽出部は、上記画素信号と上記複数の参照信号のそれぞれとを比較した比較結果に基づいて上記特徴量を抽出することもできる。これにより、画素信号と複数の参照信号のそれぞれとを比較した比較結果から特徴量が抽出されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記特徴量抽出部は、上記画素信号と上記複数の参照信号のそれぞれとを比較して上記比較結果を出力する比較部と、上記比較結果に基づいて複数のローカルビットパターンを順に生成して記憶する記憶部と、上記複数のローカルビットパターンからなるデータを上記特徴量に変換する特徴量変換部とを備えてもよい。これにより、複数のローカルビットパターンからなるデータが特徴量に変換されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記記憶部は、互いに異なるローカルビットパターンを生成して記憶する複数のデータ記憶部を備え、上記特徴量変換部は、上記複数のデータ記憶部の全てに上記ローカルビットパターンが記憶された後に上記ローカルビットパターンのそれぞれを読み出して上記特徴量に変換することもできる。これにより、複数のデータ記憶部の全てにローカルビットパターンが記憶された後にローカルビットパターンのそれぞれが読み出されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記記憶部は、上記比較結果が反転したときの時刻を示す時刻コードをさらに記憶することもできる。これにより、時刻コードから通常画像が生成されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記比較部は、上記注目画素回路からの上記画素信号と上記複数の参照信号のそれぞれとの上記比較結果を注目画素比較結果として出力するとともに上記近傍画素回路からの上記画素信号と上記複数の参照信号のそれぞれとの上記比較結果を近傍画素比較結果として出力し、上記データ記憶部は、上記近傍画素比較結果を保持するラッチ回路と、上記注目画素比較結果が反転したときに上記近傍画素比較結果を上記ラッチ回路に保持させるラッチ制御回路と、上記注目画素比較結果および上記近傍画素比較結果の一方を所定時間に亘って遅延させて上記ラッチ回路および上記ラッチ制御回路のいずれかに出力する遅延回路とを備えてもよい。これにより、注目画素比較結果および近傍画素比較結果との一方が遅延するという作用をもたらす。
【００１２】
また、この第１の側面において、上記遅延回路は、上記注目画素比較結果を遅延させて上記ラッチ制御回路に出力することもできる。これにより、注目画素比較結果が遅延するという作用をもたらす。
【００１３】
また、この第１の側面において、上記遅延回路は、上記近傍画素比較結果を遅延させて上記ラッチ回路に出力することもできる。これにより、近傍画素比較結果が遅延するという作用をもたらす。
【００１４】
また、この第１の側面において、上記画素信号のそれぞれと所定の参照信号とを比較して比較結果として出力する比較部と、上記注目画素回路に対応する上記比較結果が反転する時刻と上記近傍画素回路に対応する上記比較結果が反転する時刻との間の期間に亘って計数値を計数して上記特徴量として出力する計数部とを具備することもできる。これにより、注目画素回路に対応する比較結果が反転する時刻と近傍画素回路に対応する比較結果が反転する時刻との間の期間に亘って計数値が計数されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記計数部は、上記注目画素回路に対応する上記比較結果と上記近傍画素回路に対応する上記比較結果との一方が他方よりも先に反転した場合には上記計数値を増分し、上記他方が上記一方よりも先に反転した場合には上記計数値を減分することもできる。これにより、注目画素回路に対応する比較結果と近傍画素回路に対応する比較結果とのいずれが先に反転するかにより計数値が増分または減分されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記複数の画素回路は、複数のエリアブロックのそれぞれに配置され、上記複数のエリアブロックのそれぞれは、上記複数の画素回路と上記複数の画素回路により供給される浮遊拡散層とを備えてもよい。これにより、浮遊拡散層を共有する複数の画素回路のそれぞれからの画素信号の差の大きさを表す特徴量が抽出されるという作用をもたらす。
【００１７】
また、この第１の側面において、上記近傍画素回路は、上記注目画素回路に対して点対称の位置の一対の近傍画素回路を含み、上記特徴量抽出部は、上記一対の近傍画素回路の一方と上記注目画素回路とのそれぞれからの上記画素信号の差の大きさを多値により表す上記特徴量を抽出することもできる。これにより、一対の近傍画素回路の一方と注目画素回路とのそれぞれからの画素信号の差の大きさを多値により表す上記特徴量が抽出されるという作用をもたらす。
【００１８】
また、この第１の側面において、上記特徴量に基づいて所定の物体を認識する処理を行う画像処理部をさらに具備してもよい。これにより、所定の物体が認識されるという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、特徴量画像を撮像する撮像装置において、特徴量画像の画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画素の一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態におけるＡＤＣ（Analog to Digital Converter）の一構成例を示すブロック図である。
【図５】本技術の第１の実施の形態における画素間の接続形態の一例を示す図である。
【図６】本技術の第１の実施の形態における比較回路の一構成例を示す回路図である。
【図７】本技術の第１の実施の形態における比較回路の動作の一例を示すタイミングチャートである。
【図８】本技術の第１の実施の形態における画素回路の一構成例を示す回路図である。
【図９】本技術の第１の実施の形態におけるデータ記憶部の一構成例を示す回路図である。
【図１０】本技術の第１の実施の形態におけるバッファ回路の一構成例を示す回路図である。
【図１１】本技術の第１の実施の形態におけるリセットレベルのサンプリング動作の一例を示すタイミングチャートである。
【図１２】本技術の第１の実施の形態における信号レベルのサンプリング動作の一例を示すタイミングチャートである。
【図１３】本技術の第１の実施の形態におけるＬＢＰ抽出モードでローレベルをラッチする際の固体撮像素子の動作の一例を示すタイミングチャートである。
【図１４】本技術の第１の実施の形態におけるＬＢＰ抽出モードでハイレベルをラッチする際の固体撮像素子の動作の一例を示すタイミングチャートである。
【図１５】本技術の第１の実施の形態におけるＬＢＰを説明するための図である。
【図１６】本技術の第１の実施の形態における参照信号ごとのＬＢＰの一例を示す図である。
【図１７】本技術の第１の実施の形態における出力部の一構成例を示すブロック図である。
【図１８】本技術の第１の実施の形態における特徴量変換部による変換処理を説明するための図である。
【図１９】本技術の第１の実施の形態における撮像装置内の処理フローをまとめた図である。
【図２０】本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図２１】本技術の第１の実施の形態におけるＬＢＰ生成処理の一例を示すフローチャートである。
【図２２】本技術の第２の実施の形態におけるＡＤＣの一構成例を示すブロック図である。
【図２３】本技術の第２の実施の形態における計数回路の一構成例を示す回路図である。
【図２４】本技術の第２の実施の形態におけるアップダウンカウンタの一構成例を示す回路図である。
【図２５】本技術の第２の実施の形態におけるアップカウントを行う動作の一例を示すタイミングチャートである。
【図２６】本技術の第２の実施の形態におけるダウンカウントを行う動作の一例を示すタイミングチャートである。
【図２７】本技術の第２の実施の形態における撮像装置内の処理フローをまとめた図である。
【図２８】本技術の第３の実施の形態におけるＡＤＣの一構成例を示すブロック図である。
【図２９】本技術の第４の実施の形態におけるデータ記憶部の一構成例を示す回路図である。
【図３０】本技術の第５の実施の形態におけるＡＤＣの一構成例を示すブロック図である。
【図３１】本技術の第６の実施の形態における画素アレイ部の一構成例を示す平面図である。
【図３２】本技術の第６の実施の形態におけるエリアブロックの一構成例を示す回路図である。
【図３３】本技術の第７の実施の形態におけるデータ記憶部の一構成例を示す回路図である。
【図３４】本技術の第７の実施の形態におけるＬＢＰラッチ回路の一構成例を示す回路図である。
【図３５】本技術の第７の実施の形態における時刻コードラッチ回路の一構成例を示す回路図である。
【図３６】本技術の第８の実施の形態における信号線の配線接続について説明するための図である。
【図３７】本技術の第８の実施の形態におけるデータ記憶部の一構成例を示す回路図である。
【図３８】本技術の第８の実施の形態における出力部の一構成例を示すブロック図である。
【図３９】車両制御システムの概略的な構成例を示すブロック図である。
【図４０】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素信号の差を多値により表す特徴量を抽出する例）
２．第２の実施の形態（画素信号の差を多値により表す特徴量を、カウンタを用いて抽出する例）
３．第３の実施の形態（複数のＬＢＰを保持し、画素信号の差を多値により表す特徴量を、それらのＬＢＰから抽出する例）
４．第４の実施の形態（注目画素の比較結果を遅延させて特徴量を抽出する例）
５．第５の実施の形態（近傍画素の比較結果を遅延させて特徴量を抽出する例）
６．第６の実施の形態（画素共有型の素子において、画素信号の差を多値により表す特徴量を抽出する例）
７．第７の実施の形態（時刻コードおよびＬＢＰを保持し、画素信号の差を多値により表す特徴量をＬＢＰから抽出し、時刻コードから通常画像を生成する例）
８．第８の実施の形態（配線数を削減した固体撮像素子において画素信号の差を多値により表す特徴量を抽出する例）
９．移動体への応用例
【００２２】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、画像データを撮像するものであり、光学部１１０、固体撮像素子２００、デジタルシグナルプロセッサ１２０、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記録部１７０および電源部１８０を備える。撮像装置１００としては、デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラや、携帯電話機等の撮像機能を有する電子機器が想定される。
【００２３】
光学部１１０は、被写体からの入射光（像光）を取り込んで固体撮像素子２００の撮像面上に結像するものである。
【００２４】
固体撮像素子２００は、画像データを撮像するものである。この固体撮像素子２００は、所定周波数（例えば、３０ヘルツ）の垂直同期信号ＶＳＹＮＣに同期して画像データを撮像し、その画像データをデジタルシグナルプロセッサ１２０に信号線２０９を介して供給する。
【００２５】
また、固体撮像素子２００には、信号線２０８を介してイネーブル信号ＬＢＰ＿ＥＮが入力される。このイネーブル信号ＬＢＰ＿ＥＮは、特徴量を抽出して特徴量画像を生成する機能を有効にするか否かを指示する信号である。イネーブル信号ＬＢＰ＿ＥＮがイネーブルに設定された場合に固体撮像素子２００は、特徴量画像を生成して、その画像データをデジタルシグナルプロセッサ１２０に出力する。一方、イネーブル信号ＬＢＰ＿ＥＮがディセーブルに設定された場合に固体撮像素子２００は、受光量に応じた画素データからなる通常画像を生成して、その画像データをデジタルシグナルプロセッサ１２０に出力する。以下、イネーブル信号ＬＢＰ＿ＥＮがイネーブルのときの撮像装置１００の状態を「特徴量抽出モード」と称し、イネーブル信号ＬＢＰ＿ＥＮがディセーブルのときの撮像装置１００の状態を「撮像モード」と称する。
【００２６】
デジタルシグナルプロセッサ１２０は、画像データに対して所定の信号処理を行うものである。このデジタルシグナルプロセッサ１２０は、信号処理において、必要に応じてフレームメモリ１６０に画像データを保持させる。また、デジタルシグナルプロセッサ１２０は、実行する信号処理の種類に基づいてイネーブル信号ＬＢＰ＿ＥＮを設定する。例えば、画像認識を行う場合にデジタルシグナルプロセッサ１２０は、イネーブル信号ＬＢＰ＿ＥＮをイネーブルに設定する。一方、デモザイク処理やホワイトバランス処理などの通常画像に対する信号処理を行う場合にデジタルシグナルプロセッサ１２０は、イネーブル信号ＬＢＰ＿ＥＮをディセーブルに設定する。デジタルシグナルプロセッサ１２０は、イネーブル信号ＬＢＰ＿ＥＮを固体撮像素子２００に信号線２０８を介して供給する。
【００２７】
表示部１３０は、画像データを表示するものである。表示部１３０として、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが用いられる。
【００２８】
操作部１４０は、ユーザによる操作に従って、撮像装置１００が持つ様々な機能について操作指令を発するものである。バス１５０は、固体撮像素子２００、デジタルシグナルプロセッサ１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記録部１７０および電源部１８０が互いに情報をやりとりするための共通の経路である。
【００２９】
フレームメモリ１６０は、画像データを一時的に保持するものである。記録部１７０は、画像データを記録するものである。記録部１７０として、ハードディスクや半導体メモリ等の記録媒体が用いられる。電源部１８０は、撮像装置１００内の各部に電源を供給するものである。
【００３０】
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、ＤＡＣ（Digital to Analog Converter）２１１と、複数の時刻コード発生部２１２と、垂直駆動回路２１３と、画素アレイ部２２０とを備える。また、固体撮像素子２００は、画素駆動回路２１４、タイミング生成回路２１５および出力部２５０を備える。これらの回路は、単一の半導体基板に設けられる。
【００３１】
ＤＡＣ２１１は、ＤＡ（Digital to Analog）変換により参照信号を生成して画素アレイ部２２０に供給するものである。参照信号として、例えば、時間の経過に伴ってレベルが単調に減少するランプ信号が用いられる。なお、ＤＡＣ２１１は、特許請求の範囲に記載の参照信号供給部の一例である。
【００３２】
また、画素アレイ部２２０は、二次元格子状に配列された複数の画素２３０と、複数の時刻コード転送部２２１とを備える。以下、所定方向（水平方向など）に配列された画素２３０の集合を「行」と称し、行に垂直な方向に配列された画素２３０の集合を「列」と称する。
【００３３】
タイミング生成回路２１５は、垂直同期信号ＶＳＹＮＣに同期してＤＡＣ２１１、垂直駆動回路２１３および画素駆動回路２１４の動作タイミングを制御するものである。このタイミング生成回路２１５は、例えば、タイミングジェネレータにより構成される。また、タイミング生成回路２１５にはイネーブル信号ＬＢＰ＿ＥＮが入力される。イネーブル信号ＬＢＰ＿ＥＮがイネーブルの場合に、タイミング生成回路２１５は、ＤＡＣ２１１への制御信号により、参照信号のオフセット電圧を制御する。
【００３４】
時刻コード発生部２１２は、垂直同期信号ＶＳＹＮＣの周期内の相対時刻を示す時刻コードを生成するものである。時刻コード発生部２１２は、時刻コード転送部２２１ごとに配置され、生成した時刻コードを対応する時刻コード転送部２２１へ供給する。時刻コード転送部２２１は、時刻コードを転送するものである。
【００３５】
画素駆動回路２１４は、画素２３０を所定の順序で駆動してアナログの画素信号を生成させるものである。垂直駆動回路２１３は、画素２３０を所定の順序で駆動して、画素信号をデジタル信号に変換して出力させるものである。
【００３６】
画素２３０は、受光量に応じたアナログの画素信号を生成するものである。そして、画素２３０は、画素信号をデジタル信号に変換し、時刻コード転送部２２１を介してデジタル信号を出力部２５０に供給する。
【００３７】
なお、ＤＡＣ２１１、時刻コード発生部２１２、垂直駆動回路２１３、画素アレイ部２２０、画素駆動回路２１４、タイミング生成回路２１５および出力部２５０を単一の半導体基板に設けているが、この構成に限定されない。例えば、それらの回路を積層された複数の半導体基板に分散して配置することもできる。
【００３８】
［画素の構成例］
図３は、本技術の第１の実施の形態における画素２３０の一構成例を示すブロック図である。この画素２３０は、画素回路２４０およびＡＤＣ３００を備える。
【００３９】
画素回路２４０は、画素駆動回路２１４の制御に従って、受光量に応じたアナログ信号を画素信号ＳＩＧ＿（ｉ，ｊ）として生成するものである。ここで、ｉは、画素２３０の垂直座標を示す整数であり、ｊは水平座標を示す整数である。画素回路２４０は、画素信号ＳＩＧ＿（ｉ，ｊ）をＡＤＣ３００に供給する。
【００４０】
ＡＤＣ３００は、垂直駆動回路２１３の制御に従って画素信号ＳＩＧ＿（ｉ，ｊ）をデジタル信号に変換するものである。このＡＤＣ３００は、ＤＡＣ２１１からの参照信号ＲＥＦと画素信号ＳＩＧ＿（ｉ，ｊ）とを比較し、その比較結果ＶＣＯ＿（ｉ，ｊ）に基づいてデジタル信号を生成する。そして、ＡＤＣ３００は、生成したデジタル信号を時刻コード転送部２２１へ供給する。
【００４１】
また、ＡＤＣ３００は、近傍の画素２３０（以下、「近傍画素」と称する。）へ比較結果ＶＣＯ＿（ｉ，ｊ）を出力する。また、ＡＤＣ３００には、近傍画素のそれぞれの比較結果からなるＶＣＯ＿ＩＮが入力される。
【００４２】
ここで、「近傍」は、ある画素の座標から、それ以外の画素の座標までのユークリッド距離が一定距離内であることを意味する。画素アレイ部２２０においては、例えば、注目した注目画素からのユークリッド距離が「２」未満の画素を近傍画素とする。この場合に、近傍画素は、注目画素の上下左右、左上、右上、左下および右下の８画素となる。すなわち、座標（ｉ，ｊ）の画素は、座標（ｉ−１，ｊ−１）、（ｉ−１，ｊ）、（ｉ−1，ｊ＋１）、（ｉ，ｊ−１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ−１）、（ｉ＋１，ｊ）および（ｉ＋1，ｊ＋１）の近傍画素へ比較結果ＶＣＯ＿（ｉ，ｊ）を出力する。また、座標（ｉ，ｊ）の画素には、８個の近傍画素のそれぞれの比較結果からなる８ビットのＶＣＯ＿ＩＮが入力される。
【００４３】
なお、近傍画素の画素数は８個に限定されず、例えば、上下左右の４画素を近傍画素としてもよい。
【００４４】
また、注目画素の画素回路２４０は、特許請求の範囲に記載の注目画素回路の一例であり、近傍画素の画素回路２４０は、特許請求の範囲に記載の近傍画素回路の一例である。
【００４５】
［ＡＤＣの構成例］
図４は、本技術の第１の実施の形態におけるＡＤＣ３００の一構成例を示すブロック図である。このＡＤＣ３００は、比較回路３１０、データ記憶部３５０およびバッファ回路３６０を備える。比較回路３１０は、差動入力回路３２０、電圧変換回路３３０および正帰還回路３４０を備える。なお、全画素のそれぞれの比較回路３１０からなる回路は、特許請求の範囲に記載の比較部の一例である。
【００４６】
差動入力回路３２０は、ＤＡＣ２１１からの参照信号ＲＥＦと、画素回路２４０からの画素信号ＳＩＧ＿（ｉ，ｊ）とを比較するものである。この差動入力回路３２０は、画素信号ＳＩＧ＿（ｉ，ｊ）が参照信号ＲＥＦよりも高いときに所定の差動出力信号ＨＶＯを電圧変換回路３３０に出力する。
【００４７】
電圧変換回路３３０は、差動出力信号ＨＶＯの電圧を、正帰還回路３４０が動作可能な低電位に変換し、変換信号ＬＶＩとして正帰還回路３４０に供給するものである。
【００４８】
正帰還回路３４０は、変換信号ＬＶＩに基づいて、画素信号ＳＩＧ＿（ｉ，ｊ）が参照信号ＲＥＦよりも高いときに反転する比較結果ＶＣＯ＿（ｉ，ｊ）をデータ記憶部３５０と近傍の画素２３０とに出力するものである。また、正帰還回路３４０は、垂直駆動回路２１３からの初期化信号ＩＮＩにより、初期化される。
【００４９】
データ記憶部３５０は、イネーブル信号ＬＢＰ＿ＥＮがイネーブルの場合に比較結果ＶＣＯ＿（ｉ，ｊ）およびＶＣＯ＿ＩＮに基づいてＬＢＰ＿（ｉ，ｊ）を生成し、記憶するものである。一方、イネーブル信号ＬＢＰ＿ＥＮがディセーブルの場合にデータ記憶部３５０は、比較結果ＶＣＯ＿（ｉ，ｊ）が反転したときの時刻コードを画素データとして記憶する。データ記憶部３５０は、それらのデジタル信号（ＬＢＰ＿（ｉ，ｊ）または画素データ）をローカルビット線ＬＢＬを介して、バッファ回路３６０に供給する。なお、データ記憶部３５０は、特許請求の範囲に記載の記憶部の一例である。
【００５０】
バッファ回路３６０は、時刻コード転送部２２１からデータ記憶部３５０へ時刻コードを転送し、データ記憶部３５０から時刻コード転送部２２１へＬＢＰ＿（ｉ，ｊ）または画素データを転送するものである。
【００５１】
なお、バッファ回路３６０を画素２３０内に配置しているが、この回路を時刻コード転送部２２１内に配置することもできる。
【００５２】
図５は、本技術の第１の実施の形態における画素間の接続形態の一例を示す図である。同図において太枠で囲った画素を注目画素とし、その座標を（ｉ，ｊ）とする。また、例えば、座標（ｉ−１，ｊ−１）、（ｉ−１，ｊ）、（ｉ−1，ｊ＋１）、（ｉ，ｊ−１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ−１）、（ｉ＋１，ｊ）および（ｉ＋1，ｊ＋１）の８画素を近傍画素とする。
【００５３】
注目画素は、８本の入力信号線を介して８個の近傍画素のそれぞれと接続される。それらの入力信号線を介して注目画素には、８ビットの比較結果ＶＣＯ＿ＩＮが入力される。また、注目画素は、８つに分岐する１本の出力信号線を介して近傍画素のそれぞれと接続される。注目画素は、その出力信号線を介して１ビットの比較結果ＶＣＯ＿（ｉ，ｊ）を近傍画素のそれぞれに出力する。
【００５４】
［比較回路の構成例］
図６は、本技術の第１の実施の形態における比較回路３１０の一構成例を示す回路図である。比較回路３１０内の差動入力回路３２０は、ｐＭＯＳ（p-channel Metal-Oxide-Semiconductor）トランジスタ３２１乃至３２３と、ｎＭＯＳ（n-channel MOS）トランジスタ３２４乃至３２６とを備える。
【００５５】
ｐＭＯＳトランジスタ３２１および３２２は、カレントミラー回路を構成する。ｐＭＯＳトランジスタ３２１、３２２および３２３のソースには、電源電圧ＶＤＤ１が印加される。ｐＭＯＳトランジスタ３２１のドレインは、ｐＭＯＳトランジスタ３２１および３２２のゲートと、ｎＭＯＳトランジスタ３２４のドレインとに共通に接続される。ｐＭＯＳトランジスタ３２２のドレインは、ｎＭＯＳトランジスタ３２５のドレインと、ｐＭＯＳトランジスタ３２３のゲートとに共通に接続される。この接続点の電位をＶＯとする。また、ｐＭＯＳトランジスタ３２３のドレインは、電圧変換回路３３０に接続される。
【００５６】
ｎＭＯＳトランジスタ３２４および３２５は、差動対を構成し、これらのトランジスタのソースは、ｎＭＯＳトランジスタ３２６のドレインに共通に接続される。ｎＭＯＳトランジスタ３２６のソースは、所定の基準電位ＶＳＳに接続される。また、ｎＭＯＳトランジスタ３２４のゲートにはＤＡＣ２１１からの参照信号ＲＥＦが入力され、ｎＭＯＳトランジスタ３２５のゲートには、画素回路２４０からの画素信号ＳＩＧ＿（ｉ，ｊ）が入力される。
【００５７】
ｎＭＯＳトランジスタ３２６のゲートには、所定のバイアス電圧Ｖｂが印加され、ｎＭＯＳトランジスタ３２６のソースには、所定の基準電位ＶＳＳが印加される。
【００５８】
電圧変換回路３３０は、ｎＭＯＳトランジスタ３３１を備える。このｎＭＯＳトランジスタ３３１のゲートには所定のバイアス電圧ＶＢＩＡＳが印加される。また、ｎＭＯＳトランジスタ３３１のドレインは、ｐＭＯＳトランジスタ３２３のドレインに接続され、ソースは、正帰還回路３４０に接続される。
【００５９】
ここで、バイアス電圧ＶＢＩＡＳは、定電圧で動作する正帰還回路３４０内のトランジスタを破壊しない電圧に変換することができる値であればよい。例えば、バイアス電圧ＶＢＩＡＳは、正帰還回路３４０の電源電圧と同じ電圧とすることができる。
【００６０】
正帰還回路３４０はｐＭＯＳトランジスタ３４１、３４２、３４３と、ｎＭＯＳトランジスタ３４４および３４５とを備える。ｐＭＯＳトランジスタ３４１および３４２とｎＭＯＳトランジスタ３４４とは、電源電圧ＶＤＤ２に直列に接続される。また、ｐＭＯＳトランジスタ３４２およびｎＭＯＳトランジスタ３４５は、電源電圧ＶＤＤ２に直列に接続される。
【００６１】
ここで、基準電位ＶＳＳと、電源電圧ＶＤＤ１およびＶＤＤ２との大小関係は、次の式により表される。なお、バイアス電圧ＶＢＩＡＳは、前述したように、例えば、電源電圧ＶＤＤ２と同じ値に設定される。
ＶＳＳ＜ＶＤＤ２＜ＶＤＤ１
【００６２】
また、ｐＭＯＳトランジスタ３４１およびｎＭＯＳトランジスタ３４４のゲートには、垂直駆動回路２１３からの初期化信号ＩＮＩが入力される。ｐＭＯＳトランジスタ３４３のゲートは、ｐＭＯＳトランジスタ３４２およびｎＭＯＳトランジスタ３４５の接続点に接続される。また、ｐＭＯＳトランジスタ３４２およびｎＭＯＳトランジスタ３４５のゲートは、電圧変換回路３３０と、ｐＭＯＳトランジスタ３４３およびｎＭＯＳトランジスタ３４４の接続ノードとに共通に接続される。ｐＭＯＳトランジスタ３４２およびｎＭＯＳトランジスタ３４５の接続点の電位は、比較結果ＶＣＯ＿（ｉ，ｊ）として、データ記憶部３５０などに出力される。
【００６３】
なお、差動入力回路３２０、電圧変換回路３３０および正帰還回路３４０のそれぞれは、図５で説明した機能を持つのであれば、図６に例示した回路に限定されない。
【００６４】
図７は、本技術の第１の実施の形態における比較回路３１０の動作の一例を示すタイミングチャートである。同図におけるａは、比較回路３１０内の差動入力回路３２０の動作の一例を示すタイミングチャートである。同図におけるｂは、電圧変換回路３３０の動作の一例を示すタイミングチャートである。同図におけるｃは、正帰還回路３４０の動作の一例を示すタイミングチャートである。同図における縦軸は電圧であり、横軸は時間である。
【００６５】
まず、ＤＡＣ２１１により参照信号ＲＥＦが、全ての画素２３０の画素信号ＳＩＧよりも高い電圧に設定されるとともに、ハイレベルの初期化信号ＩＮＩにより比較回路３１０が初期化される。
【００６６】
また、差動対のｎＭＯＳトランジスタ３２４および３２５の一方のゲートに、参照信号ＲＥＦが入力され、他方のゲートに画素信号ＳＩＧ＿（ｉ，ｊ）が入力される。参照信号ＲＥＦの電圧が、画素信号ＳＩＧ＿（ｉ，ｊ）の電圧よりも高い電圧であるときを考える。このときには電流源のｎＭＯＳトランジスタ３２６が出力した電流のほとんどが、参照信号ＲＥＦ側のｎＭＯＳトランジスタ３２４を経由してダイオード接続されたｐＭＯＳトランジスタ３２１に流れる。そのｐＭＯＳトランジスタ３２１と共通のゲートを持つｐＭＯＳトランジスタ３２２のチャネル抵抗は十分低くなりｐＭＯＳトランジスタ３２３のゲートをほぼ電源電圧ＶＤＤ１に保ち、ｐＭＯＳトランジスタ３２３は遮断される。
【００６７】
したがって、電圧変換回路３３０内のｎＭＯＳトランジスタ３３１が導通していたとしても、充電回路としての正帰還回路３４０が変換信号ＬＶＩを充電することは無い。一方、ハイレベルの初期化信号ＩＮＩが供給されていることから、基準電位ＶＳＳ側のｎＭＯＳトランジスタ３４４は導通し、正帰還回路３４０は変換信号ＬＶＩを放電する。また、電源側のｐＭＯＳトランジスタ３４１は遮断するため、正帰還回路３４０がｐＭＯＳトランジスタ３４３を介して変換信号ＬＶＩを充電することもない。その結果、変換信号ＬＶＩは、基準電位ＶＳＳまで放電される。正帰還回路３４０は、インバータを構成する出力段のｐＭＯＳトランジスタ３４２およびｎＭＯＳトランジスタ３４５によりハイレベルの比較結果ＶＣＯ＿（ｉ，ｊ）を出力し、比較回路３１０が初期化される。
【００６８】
初期化終了時のタイミングＴｓにおいて垂直駆動回路２１３は、初期化信号ＩＮＩをローレベルにする。タイミングＴｓの後に参照信号ＲＥＦの掃引が開始される。
【００６９】
参照信号ＲＥＦが画素信号ＳＩＧ＿（ｉ，ｊ）よりも高い電圧の期間では、ｐＭＯＳトランジスタ３２３はオフとなるため遮断され、比較結果ＶＣＯはハイレベルの信号となるので、ｐＭＯＳトランジスタ３４３もオフとなり遮断される。ｎＭＯＳトランジスタ３４４も、初期化信号ＩＮＩがローレベルとなっているため遮断される。変換信号ＬＶＩは、高インピーダンス状態のまま基準電位ＶＳＳを保ち、ハイレベルの比較結果ＶＣＯが出力される。
【００７０】
タイミングＴｖにおいて参照信号ＲＥＦが画素信号ＳＩＧ＿（ｉ，ｊ）よりも低くなると、電流源のｎＭＯＳトランジスタ３２６の出力電流は参照信号ＲＥＦ側のｎＭＯＳトランジスタ３２４を流れなくなる。これにより、カレントミラー回路を構成するｐＭＯＳトランジスタ３２１および３２２のゲート電位が上昇して、ｐＭＯＳトランジスタ３２２のチャネル抵抗は高くなる。そして、画素側のｎＭＯＳトランジスタ３２５を介して流れ込む電流に起因する電圧降下により、ｐＭＯＳトランジスタ３２３のゲート電位が低下し、電圧変換回路３３０内のｎＭＯＳトランジスタ３３１が導通する。ｐＭＯＳトランジスタ３２３から出力された差動出力信号ＨＶＯは、電圧変換回路３３０内のｎＭＯＳトランジスタ３３１によって変換信号ＬＶＩに変換され、正帰還回路３４０に供給される。充電回路としての正帰還回路３４０は、変換信号ＬＶＩを充電し、電位を基準電位ＶＳＳから電源電圧ＶＤＤ２へと徐々に上昇させる。
【００７１】
そして、変換信号ＬＶＩの電圧が、ｐＭＯＳトランジスタ３４２およびｎＭＯＳトランジスタ３４５で構成されるインバータの閾値電圧を超えると、比較結果ＶＣＯはローレベルとなり、帰還先のｐＭＯＳトランジスタ３４３が導通する。ｐＭＯＳトランジスタ３４１も、ローレベルの初期化信号ＩＮＩにより導通している。このため、正帰還回路３４０は、ｐＭＯＳトランジスタ３４２およびｎＭＯＳトランジスタ３４５を介して、変換信号ＬＶＩを急速に充電し、電位を電源電圧ＶＤＤ２まで一気に持ち上げる。
【００７２】
電圧変換回路３３０内のｎＭＯＳトランジスタ３３１は、ゲートにバイアス電圧ＶＢＩＡＳが印加されているので、変換信号ＬＶＩの電圧が、バイアス電圧ＶＢＩＡＳからトランジスタの閾値分、下がった電圧値に到達すれば遮断する。ｐＭＯＳトランジスタ３２３が導通したままだとしても、それ以上に変換信号ＬＶＩを充電することは無く、電圧変換回路３３０は、電圧クランプ回路としても機能する。
【００７３】
ｐＭＯＳトランジスタ３４３の導通による変換信号ＬＶＩの充電は、そもそもが変換信号ＬＶＩがインバータの閾値まで上昇してきたことを発端とし、その動きを加速する正帰還動作である。差動入力回路３２０内の電流源のｎＭＯＳトランジスタ３２６は、固体撮像素子２００内で並列同時に動作する回路数が膨大であることから１回路あたりの電流がきわめて僅かな電流に設定される。さらに、参照信号ＲＥＦは、時刻コードが切り替わる単位時間に変化する電圧がＡＤ変換のＬＳＢ（Least Significant Bit）ステップとなるために極めて緩慢に掃引される。従って、ｐＭＯＳトランジスタ３２３のゲート電位の変化も緩慢であり、それによって駆動されるｐＭＯＳトランジスタ３２３の出力電流の変化も緩慢である。しかし、その出力電流で充電される変換信号ＬＶＩに、後段から正帰還をかけることで、比較結果ＶＣＯは十分急速に遷移することができる。望ましくは、比較結果ＶＣＯの遷移時間は、時刻コードの単位時間の数分の１であり、典型例としては１ナノ秒（ｎｓ）以下である。比較回路３１０では、電流源のｎＭＯＳトランジスタ３２６に、例えば、０．１マイクロアンペア（μＡ）の僅かな電流を設定しただけで、この出力遷移時間を達成することができる。
【００７４】
［画素回路の構成例］
図８は、本技術の第１の実施の形態における画素回路２４０の一構成例を示す回路図である。この画素回路２４０は、リセットトランジスタ２４１、転送トランジスタ２４２、浮遊拡散層２４３、フォトダイオード２４４および排出トランジスタ２４５を備える。例えば、ｎＭＯＳトランジスタが、リセットトランジスタ２４１、転送トランジスタ２４２、フォトダイオード２４４および排出トランジスタ２４５として用いられる。
【００７５】
フォトダイオード２４４は、入射光を光電変換して電荷を生成するものである。排出トランジスタ２４５は、画素駆動回路２１４からの排出制御信号ＯＦＧに従ってフォトダイオード２４４の電荷を排出するものである。
【００７６】
転送トランジスタ２４２は、画素駆動回路２１４からの転送信号ＴＸに従って、フォトダイオード２４４から浮遊拡散層２４３へ電荷を転送するものである。
【００７７】
浮遊拡散層２４３は、転送された電荷を蓄積し、蓄積した電荷の量に応じた電圧を生成するものである。この電圧の信号が画素信号ＳＩＧ＿（ｉ，ｊ）として差動入力回路３２０へ出力される。
【００７８】
リセットトランジスタ２４１は、画素駆動回路２１４からのリセット信号ＲＳＴに従って、浮遊拡散層２４３の電荷量を初期化するものである。
【００７９】
［データ記憶部の構成例］
図９は、本技術の第１の実施の形態におけるデータ記憶部３５０の一構成例を示す回路図である。このデータ記憶部３５０は、マルチプレクサ３５１と、ラッチ制御回路３５２と、複数のスイッチ３５５と、複数のラッチ回路３５６とを備える。スイッチ３５５およびラッチ回路３５６は、近傍画素ごとに設けられる。近傍画素が８個である場合には、スイッチ３５５およびラッチ回路３５６のそれぞれは８個ずつ設けられる。
【００８０】
マルチプレクサ３５１は、イネーブル信号ＬＢＰ＿ＥＮに従って、比較結果ＶＣＯ＿（ｉ，ｊ）の出力先を切り替えるものである。このマルチプレクサ３５１は、イネーブル信号ＬＢＰ＿ＥＮがイネーブルである場合に、比較結果ＶＣＯ＿（ｉ，ｊ）を全てのスイッチ３５５へ出力する。一方、イネーブル信号ＬＢＰ＿ＥＮがディセーブルである場合にマルチプレクサ３５１は、ラッチ制御回路３５２に比較結果ＶＣＯ＿（ｉ，ｊ）を出力する。
【００８１】
ラッチ制御回路３５２は、ラッチ回路３５６のそれぞれの動作を制御するものである。このラッチ制御回路３５２は、ＯＲ（論理和）ゲート３５３およびインバータ３５４を備える。
【００８２】
ＯＲゲート３５３は、画素データの読出しタイミングを制御するためのＷＯＲＤ信号と比較結果ＶＣＯ＿（ｉ，ｊ）との論理和を演算するものである。ＷＯＲＤ信号は、垂直駆動回路２１３から供給される。また、ＯＲゲート３５３は、論理和の信号を制御信号Ｔとして全てのラッチ回路３５６に供給する。
【００８３】
インバータ３５４は、比較結果ＶＣＯ＿（ｉ，ｊ）を反転ものである。このインバータ３５４、反転した信号を制御信号Ｌとして全てのラッチ回路３５６に供給する。
【００８４】
スイッチ３５５は、マルチプレクサ３５１からの比較結果ＶＣＯ＿（ｉ，ｊ）が反転するまでの期間に亘って、対応する近傍画素からの比較結果ＶＣＯを、対応するラッチ回路３５６に入力するものである。
【００８５】
ラッチ回路３５６は、１ビットのデータを保持するものである。このラッチ回路３５６は、インバータ３５７および３５８とスイッチ３５９とを備える。撮像モードにおいてｎ（ｎは０乃至７の整数）個目のラッチ回路３５６には、時刻コードのうち第ｎビットが保持される。一方、ＬＢＰ抽出モードにおいて、ｎ個目のラッチ回路３５６には、ローカルビットパターンのうち第ｎビットが保持される。
【００８６】
インバータ３５７は、制御信号Ｌがハイレベルである場合にインバータ３５８からの信号を反転してインバータ３５８の入力端子およびスイッチ３５９に出力するものである。
【００８７】
インバータ３５８は、対応する近傍画素の比較結果ＶＣＯと、インバータ３５７からの信号と、スイッチ３５９からの信号とのいずれかを反転してインバータ３５７の入力端子に出力するものである。これらのループ状のインバータ３５７および３５８により、１ビットの信号が保持（ラッチ）される。
【００８８】
スイッチ３５９は、制御信号Ｔに従って、バッファ回路３６０と、インバータ３５７および３５８からなるループ回路との間の経路を開閉するものである。制御信号Ｔがハイレベルの場合に、スイッチ３５９は閉状態に制御され、ローレベルの場合に開状態に制御される。
【００８９】
イネーブル信号ＬＢＰ＿ＥＮがディセーブル（撮像モード）の場合、時刻コードのデータ記憶部３５０への書込みと、読出しとが順に実行される。ラッチ制御回路３５２は、書き込み動作において、ハイレベルの比較結果ＶＣＯ＿（ｉ，ｊ）が入力されている間、時刻コード転送部２２１からの、単位時間ごとに更新される時刻コードを８個のラッチ回路３５６に記憶させる。そして、参照信号ＲＥＦと画素信号ＳＩＧ＿（ｉ，ｊ）とが同一の電圧になり、比較結果ＶＣＯがローレベルに反転したときにラッチ制御回路３５２は、時刻コードの書き込み（更新）を中止させる。ラッチ制御回路３５２は、最後にラッチ回路３５６に記憶された時刻コードをラッチ回路３５６に保持させる。８個のラッチ回路３５６に記憶された時刻コードは、画素信号ＳＩＧ＿（ｉ，ｊ）と参照信号ＲＥＦとが等しくなった時刻を表しており、画素信号ＳＩＧ＿（ｉ，ｊ）がその時刻の基準電圧であったことを示す画素データ、即ち、デジタル化された光量値を表す。
【００９０】
参照信号ＲＥＦの掃引が終了し、画素アレイ部２２０内の全ての画素２３０に時刻コードが記憶された後、その時刻コード（すなわち、画素データ）の読出しが開始される。
【００９１】
ラッチ制御回路３５２は、読み出し動作において、読み出しタイミングを制御するＷＯＲＤ信号に基づいて、読み出しタイミングとなったときに、記憶されている時刻コードを、時刻コード転送部２２１に出力させる。時刻コード転送部２２１は、供給された時刻コードを、列方向（垂直方向）に順次転送し、出力部２５０に供給する。
【００９２】
また、イネーブル信号ＬＢＰ＿ＥＮがイネーブル（ＬＢＰ抽出モード）である場合、比較結果ＶＣＯ＿（ｉ，ｊ）が反転したときのＶＣＯ＿ＩＮが８個のラッチ回路３５６に書き込まれる。書き込まれたデータは、ＬＢＰに該当する。そして、このＬＢＰは、ＷＯＲＤ信号に従って読み出される。
【００９３】
また、ＤＡＣ２１１は、オフセット電圧の異なる複数の参照信号ＲＥＦを順に供給し、参照信号ＲＥＦが供給されるたびに、データ記憶部３５０は、ＬＢＰの書込み、読出しを順に実行する。例えば、４つの参照信号ＲＥＦが供給される場合、ＬＢＰの書込み、読出しは、４回ずつ行われる。
【００９４】
なお、画素データのビット数とＬＢＰのビット数とを同一としているが、これらのビット数が異なる構成であってもよい。この場合、画素データのビット数とＬＢＰのビット数とのうち多い方と同じ個数のラッチ回路３５６が設けられ、ＬＢＰのビット数以上の個数のスイッチ３５５が設けられる。例えば、画素データを１６ビットとし、ＬＢＰを８ビットとする場合、１６個のラッチ回路３５６と８個以上のスイッチ３５５とが設けられる。
【００９５】
［バッファ回路の構成例］
図１０は、バッファ回路３６０の一構成例を示す回路図である。このバッファ回路３６０は、ラッチ回路３５６ごとに双方向バッファ３６１を備える。ラッチ回路３５６が８個の場合には、８個の双方向バッファ３６１が設けられる。
【００９６】
双方向バッファ３６１は、垂直駆動回路２１３からの、書込みを指示するＷＲ信号と読出しを指示するＲＤ信号とに従って双方向にデータを転送するものである。この双方向バッファ３６１は、バッファ３６２およびインバータ３６３を備える。
【００９７】
バッファ３６２は、ＷＲ信号に従って、時刻コードの第ｎビットをローカルビット線ＬＢＬを介してデータ記憶部３５０に出力するものである。
【００９８】
インバータ３６３は、ＲＤ信号に従ってデータ記憶部３５０からのデジタル信号（画素データまたはＬＢＬ）の第ｎビットを反転して時刻コード転送部２２１に供給するものである。
【００９９】
図１１は、本技術の第１の実施の形態におけるリセットレベルのサンプリング動作の一例を示すタイミングチャートである。この動作は、イネーブル信号ＬＢＰ＿ＥＮがディセーブル（すなわち、撮像モード）に設定され、撮像が指示されたときに開始される。
【０１００】
まず、露光が終了する直前の時刻ｔ１において、参照信号ＲＥＦが、それまでのスタンバイ電圧Ｖｓｔｂから、リセット電圧Ｖｒｓｔに設定される。これにより、浮遊拡散層２４３がリセットされる。また、時刻ｔ１では、正帰還回路３４０への初期化信号ＩＮＩがハイレベルに設定され、これにより、正帰還回路３４０が初期化される。
【０１０１】
次に時刻ｔ２において、参照信号ＲＥＦが所定の電圧Ｖｕまで持ち上げられ、参照信号ＲＥＦと画素信号ＳＩＧ＿（ｉ，ｊ）との比較が開始される。この時点では、参照信号ＲＥＦが画素信号ＳＩＧ＿（ｉ，ｊ）よりも大きいため比較結果ＶＣＯ＿（ｉ，ｊ）はハイレベルである。
【０１０２】
参照信号ＲＥＦと画素信号ＳＩＧ＿（ｉ，ｊ）とが同一となった時刻ｔ３において、比較結果ＶＣＯ＿（ｉ，ｊ）がハイレベルからローレベルに反転する。比較結果ＶＣＯ＿（ｉ，ｊ）が反転するとデータ記憶部３５０において、その反転した時点の時刻コード（すなわち、画素データ）が記憶される。
【０１０３】
時刻コードの書込みが完了した後の時刻ｔ４において、参照信号ＲＥＦの電圧が、比較回路３１０内のｎＭＯＳトランジスタ３２４がオフする程度のスタンバイ電圧Ｖｓｔｂまで引き下げられる。これにより、読み出し期間中の比較回路３１０の消費電流が抑制される。
【０１０４】
そして、時刻ｔ５において、読み出しタイミングを制御するＷＯＲＤ信号がハイレベルとなり、例えば、８ビットの画素データが、データ記憶部３５０から出力される。ここで取得されるデータは、ＣＤＳ（Correlated Double Sampling）処理を行う際のリセットレベルのＰ相データとなる。
【０１０５】
図１２は、本技術の第１の実施の形態における信号レベルのサンプリング動作の一例を示すタイミングチャートである。
【０１０６】
リセットレベルが読み出された後の時刻ｔ６において、参照信号ＲＥＦが所定の電圧Ｖｕまで持ち上げられるともに、初期化信号ＩＮＩがハイレベルに設定され、正帰還回路３４０が再び初期化される。
【０１０７】
そして、時刻ｔ７において、ハイレベルの転送信号ＴＸによりフォトダイオード２４４で生成された電荷が浮遊拡散層２４３へ転送される。
【０１０８】
初期化信号ＩＮＩがローレベルに戻された後、参照信号ＲＥＦと画素信号ＳＩＧ＿（ｉ，ｊ）の比較が開始される。そして、参照信号ＲＥＦと画素信号ＳＩＧ＿（ｉ，ｊ）とが同一となった時刻ｔ８において、比較結果ＶＣＯ＿（ｉ，ｊ）が反転し、データ記憶部３５０に、その時点の時刻コード（すなわち、画素データ）が記憶される。
【０１０９】
時刻コードの書込みが完了した後の時刻ｔ９において、参照信号ＲＥＦの電圧が、比較回路３１０内のｎＭＯＳトランジスタ３２４がオフする程度のスタンバイ電圧Ｖｓｔｂまで引き下げられる。
【０１１０】
時刻ｔ１０において、読み出しタイミングを制御するＷＯＲＤ信号がハイレベルとなり、例えば、８ビットの画素データが、データ記憶部３５０から出力される。ここで取得されるデータは、ＣＤＳ処理を行う際の信号レベルのＤ相データとなる。
【０１１１】
上述のリセットレベルおよび信号レベルのサンプリングが、垂直同期信号ＶＳＹＮＣの周期毎に実行される。また、固体撮像素子２００内の各画素２３０は、全画素同時にリセットし、かつ、全画素同時に露光するグローバルシャッタ動作が可能である。全画素が同時に露光及び読み出しを行うことができるため、通常、画素内に設けられる、電荷が読み出されるまでの間に亘って電荷を保持する保持部が不要である。また、画素２３０では、カラム並列読み出し型の固体撮像装置で必要であった、駆動する画素を選択するための選択トランジスタ等も不要である。
【０１１２】
図１３は、本技術の第１の実施の形態におけるＬＢＰ抽出モードでローレベルをラッチする際の固体撮像素子２００の動作の一例を示すタイミングチャートである。この動作は、イネーブル信号ＬＢＰ＿ＥＮがイネーブル（すなわち、ＬＢＰ抽出モード）に設定され、撮像が指示されたときに開始される。同図における縦軸は、電圧であり、横軸は時間である。
【０１１３】
ＤＡＣ２１１は、垂直同期信号ＶＳＹＮＣの周期ごとに、オフセット電圧の異なる複数の参照信号ＲＥＦを順に供給する。ここで、オフセット電圧は、参照信号ＲＥＦ全体に印加される固定電圧である。オフセット電圧の異なる２つの参照信号ＲＥＦは、スロープの傾きは同一であるが、スロープの所定の位相（例えば、掃引開始時点）の電位に差が生じる。例えば、ＤＡＣ２１１が垂直同期信号ＶＳＹＮＣの周期内において４つの参照信号を順に生成するものとし、それぞれＲＥＦａ、ＲＥＦｂ、ＲＥＦｃおよびＲＥＦｄとする。また、これらの参照信号の形状は、階段状であるものとする。
【０１１４】
例えば、参照信号ＲＥＦａのオフセット電圧は「０」ボルト（Ｖ）であり、参照信号ＲＥＦｂのオフセット電圧は負電圧ｏｆｓ１である。参照信号ＲＥＦｃのオフセット電圧は、ｏｆｓ１より絶対値の大きな負電圧ｏｆｓ２であり、参照信号ＲＥＦｄのオフセット電圧は、ｏｆｓ２より絶対値の大きな負電圧ｏｆｓ３である。
【０１１５】
ＤＡＣ２１１は、時刻ＴＬ１に参照信号ＲＥＦａを供給し、時刻ＴＬ２に参照信号ＲＥＦｂを供給する。そして、ＤＡＣ２１１は、時刻ＴＬ３に参照信号ＲＥＦｃを供給し、時刻ＴＬ４に参照信号ＲＥＦｄを供給する。
【０１１６】
参照信号ＲＥＦａの掃引開始直前の時刻Ｔ１１において画素駆動回路２１４は、転送信号ＴＸにより、それぞれの画素に画素信号を出力させる。ここで、注目画素の画素信号ＳＩＧ＿（ｉ，ｊ）の電位は、その左上の近傍画素の画素信号ＳＩＧ＿（ｉ−１，ｊ−１）の電位以下であるものとする。
【０１１７】
この場合、近傍画素の比較結果ＶＣＯ＿（ｉ−１，ｊ−１）が時刻Ｔ１２で反転してローレベルになり、その時刻以降、例えば、時刻Ｔ１３に注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する。
【０１１８】
注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する時刻Ｔ１３までは、スイッチ３５５は閉状態となり、対応するラッチ回路３５６には、比較結果ＶＣＯ＿（ｉ−１，ｊ−１）が書き込まれる。このビットを、例えば、ラッチＬ７とする。ラッチＬ７は、ＬＢＰにおける近傍画素に対応するビットに該当する。
【０１１９】
そして、比較結果ＶＣＯ＿（ｉ，ｊ）が反転した時刻Ｔ１３において、既に比較結果ＶＣＯ＿（ｉ−１，ｊ−１）が反転しているため、ラッチ回路３５６に、ローレベルのラッチＬ７が保持される。このように、注目画素の画素信号の電位が、近傍画素以下の場合には、対応するラッチ回路３５６にローレベルのビットが保持される。
【０１２０】
また、蓄積する電荷を電子とすると、画素の受光量が多いほど電子の蓄積量が多くなり、画素信号の電位が低下するため、画素信号の電位が低いほど、画素値は大きくなる。したがって、注目画素の画素値が、近傍画素以上の場合には、対応するラッチ回路３５６にローレベルのビットが保持される。
【０１２１】
図１４は、本技術の第１の実施の形態におけるＬＢＰ抽出モードでハイレベルをラッチする際の固体撮像素子２００の動作の一例を示すタイミングチャートである。同図における縦軸は、電圧であり、横軸は時間である。
【０１２２】
ここで、注目画素の画素信号ＳＩＧ＿（ｉ，ｊ）の電位は、その右下の近傍画素の画素信号ＳＩＧ＿（ｉ＋１，ｊ＋１）より高いものとする。
【０１２３】
この場合、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が時刻Ｔ１２で先に反転してローレベルになり、次に近傍画素の比較結果ＶＣＯ＿（ｉ＋１，ｊ＋１）が時刻Ｔ１３で反転する。
【０１２４】
注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する時刻Ｔ１２までは、スイッチ３５５は閉状態となり、対応するラッチ回路３５６には、比較結果ＶＣＯ＿（ｉ＋１，ｊ＋１）が書き込まれる。このビットを、例えば、ラッチＬ３とする。
【０１２５】
そして、比較結果ＶＣＯ＿（ｉ，ｊ）が反転した時刻Ｔ１２において、比較結果ＶＣＯ＿（ｉ＋１，ｊ＋１）は反転していないため、ラッチ回路３５６に、ハイレベルのラッチＬ３が保持される。このように、注目画素の画素信号の電位が、近傍画素より高い場合には、対応するラッチ回路３５６にハイレベルのビットが保持される。すなわち、注目画素の画素値が、近傍画素より小さい場合には、対応するラッチ回路３５６にハイレベルのビットが保持される。
【０１２６】
図１５は、本技術の第１の実施の形態におけるＬＢＰを説明するための図である。同図におけるａは、アナログの画素信号の画素値を画素ごとに示す図である。同図におけるｂは、近傍画素および注目画素のそれぞれの画素信号の大小関係を２値により表した図である。
【０１２７】
３行×３列の画素において、中央を注目画素とし、残り８画素を近傍画素とする。注目画素のデータ記憶部３５０は、注目画素の画素値が近傍画素以上の場合に、ローレベルのＬＢＰ値を保持し、そうでない場合にハイレベルのビットを保持する。例えば、注目画素の左上、上下および右の位置の近傍画素の画素値は、注目画素以下であるため、これらの画素について「０」のビットが保持される。それら以外の近傍画素について、「１」のビットが保持される。
【０１２８】
注目画素は、保持した８ビットを例えば、左の近傍画素に対応するビットから時計回りに並べて出力する。このように、近傍画素と注目画素との画素値の比較結果を２進数で表した特徴量はＬＢＰと呼ばれる。
【０１２９】
なお、ＬＢＰ抽出モードでは、撮像モードで行うＣＤＳ処理によるノイズの低減を原理的に行うことができないため、ＣＤＳ処理によらない方法でノイズを低減することが有効である。例えば、画素駆動回路２１４がリセットを行う際にリセットトランジスタ２４１へのリセット信号ＲＳＴのパルスを撮像モードよりもゆっくりと、ローレベルに遷移させる方法を適用することができる。また、ローパスフィルタなどの挿入により帯域制限を掛ける方法も適用することができる。
【０１３０】
図１６は、本技術の第１の実施の形態における参照信号ごとのＬＢＰの一例を示す図である。前述したように、ＬＢＰ抽出モードにおいて、ＤＡＣ２１１は、オフセット電圧の異なる４つの参照信号を順に、全画素へ供給する。同図における縦軸は、電圧であり、横軸は時間である。また、実線の直線は、注目画素の画素信号を示し、点線の直線は、近傍画素の画素信号を示す。
【０１３１】
時刻ＴＬ５において注目画素の画素信号の電位が参照信号ＲＥＦａより低くなると、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する。この時刻ＴＬ５において近傍画素の電位が参照信号ＲＥＦａより高いと、その近傍画素について「０」のＬＢＰ値が保持される。この例では、６つの近傍画素の電位が、注目画素の電位−ｄＶｖａｒより高いため、それらについて「０」のビットが保持され、残りの２ビットは「１」となる。この結果、最初のＬＢＰａ＿（ｉ，ｊ）として、「００００００１１」が生成される。
【０１３２】
次に、ＤＡＣ２１１は、負のオフセット電圧を加えた参照信号ＲＥＦｂを供給する。このオフセット電圧により、それぞれの画素について比較結果ＶＣＯが反転するタイミングが変化する。例えば、時刻ＴＬ６において注目画素の画素信号の電位が参照信号ＲＥＦｂより低くなると、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する。この時刻ＴＬ６において、３つの近傍画素の電位が参照信号ＲＥＦｂより高く、それらの近傍画素について「０」のＬＢＰ値が保持される。この結果、ＬＢＰｂ＿（ｉ，ｊ）として、「０００１１１１１」が生成される。
【０１３３】
続いてＤＡＣ２１１は、参照信号ＲＥＦｂより絶対値の大きなオフセット電圧を加えた参照信号ＲＥＦｃを供給する。このオフセット電圧により、それぞれの画素について比較結果ＶＣＯが反転するタイミングが変化する。例えば、時刻ＴＬ７において注目画素の画素信号の電位が参照信号ＲＥＦｃより低くなると、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する。この時刻ＴＬ７において、４つの近傍画素の電位が参照信号ＲＥＦｂより高く、それらの近傍画素について「０」のＬＢＰ値が保持される。この結果、ＬＢＰｃ＿（ｉ，ｊ）として、「００００１１１１」が生成される。
【０１３４】
そして、ＤＡＣ２１１は、参照信号ＲＥＦｃより絶対値の大きなオフセット電圧を加えた参照信号ＲＥＦｄを供給する。このオフセット電圧により、それぞれの画素について比較結果ＶＣＯが反転するタイミングが変化する。例えば、時刻ＴＬ８において注目画素の画素信号の電位が参照信号ＲＥＦｄより低くなると、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する。この時刻ＴＬ８において、５つの近傍画素の電位が参照信号ＲＥＦｂより高く、それらの近傍画素について「０」のＬＢＰ値が保持される。この結果、ＬＢＰｄ＿（ｉ，ｊ）として、「０００００１１１」が生成される。
【０１３５】
上述したように、参照信号ＲＥＦのオフセット電圧を変更すると、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転するタイミング、すなわち近傍画素の比較結果ＶＣＯをラッチするタイミングが変わる。このタイミングの変更により、注目画素との電位差が小さい近傍画素では、比較結果ＶＣＯが変化しやすくなる。例えば、座標（ｉ＋１，ｊ＋１）の近傍画素は、注目画素との電位差が最も小さい。この近傍画素では、時刻ＴＬ５において、比較結果ＶＣＯ＿（ｉ＋１，ｊ＋１）がローレベルであったが、時刻ＴＬ６において、比較結果ＶＣＯ＿（ｉ＋１，ｊ＋１）はハイレベルに変化する。
【０１３６】
一方、注目画素との電位差が大きな近傍画素では、オフセット電圧が変更されても比較結果ＶＣＯがほとんど変化しない。例えば、座標（ｉ−１，ｊ−１）の近傍画素は、注目画素との電位差が最も大きい。この近傍画素では、時刻ＴＬ５乃至ＴＬ８において、比較結果ＶＣＯ＿（ｉ−１，ｊ−１）はハイレベルのままである。また、電位が注目画素の電位以上の近傍画素については、電位差に関わらず、比較結果ＶＣＯが変化しない。例えば、座標（ｉ＋１，ｊ）の近傍画素は、その電位が注目画素の電位以上である。この近傍画素では、時刻ＴＬ５乃至ＴＬ８において、比較結果ＶＣＯ＿（ｉ＋１，ｊ）はローレベルのままである。
【０１３７】
したがって、電位が注目画素より低い近傍画素については、注目画素との電位差が大きいほど、ＬＢＰａ乃至ＬＢＰｄの対応するビットにおいて「１」のビット数が多くなる。
【０１３８】
なお、ＤＡＣ２１１は、オフセット電圧の異なる４つの参照信号を供給しているが、４つ以外の個数の参照信号を供給することもできる。また、ＤＡＣ２１１は、負のオフセット電圧を加えているが、正のオフセット電圧を加えてもよい。この場合には、電位が注目画素以上の近傍画素について、電位差の大きさを「１」のビットの個数により表すことができる。また、ＤＡＣ２１１は、負のオフセット電圧を加えた参照信号と、正のオフセット電圧を加えた参照信号とを順に供給することもできる。
【０１３９】
［出力部の構成例］
図１７は、本技術の第１の実施の形態における出力部２５０の一構成例を示すブロック図である。この出力部２５０は、スイッチ２５１、特徴量変換部２５２、信号処理部２５３および出力回路２５４を備える。
【０１４０】
スイッチ２５１は、イネーブル信号ＬＢＰ＿ＥＮに応じて、画素アレイ部２２０からのデータの出力先を切り替えるものである。イネーブル信号ＬＢＰ＿ＥＮがイネーブルの場合にスイッチ２５１は、画素アレイ部２２０からのＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）を特徴量変換部２５２に出力する。一方、イネーブル信号ＬＢＰ＿ＥＮがディセーブルの場合にスイッチ２５１は、画素アレイ部２２０からの画素データＰＩＸ＿（ｉ，ｊ）を信号処理部２５３に出力する。
【０１４１】
特徴量変換部２５２は、ＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）を、近傍画素毎に注目画素との画素信号の差を多値により表す特徴量Ｆｖ＿（ｉ，ｊ）に変換するものである。この特徴量変換部２５２は、ＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）のそれぞれの桁ごとに、「１」の個数を計数する。そして、特徴量変換部２５２は、それらの計数値を並べたデータを特徴量Ｆｖ＿（ｉ，ｊ）として出力回路２５４に出力する。
【０１４２】
ＬＢＰは４つあるため、ある桁の「１」の個数の計数値の範囲は、「０」乃至「４」となる。前述したように、近傍画素と注目画素との電位差が大きいほど、ＬＢＰａ乃至ＬＢＰｄの対応するビットにおいて「１」のビット数が多くなるため、計数値は、電位差の大きさを表す。「０」乃至「４」の計数値に３ビットを割り当てる場合、それぞれ８ビットのＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）は、２４ビットの特徴量Ｆｖ＿（ｉ，ｊ）に変換される。
【０１４３】
信号処理部２５３は、画素データＰＩＸ＿（ｉ，ｊ）に対して、黒レベルを補正する黒レベル補正処理やＣＤＳ処理などの所定の信号処理を実行するものである。ＣＤＳ処理において、信号処理部２５３がＰ相データからＤ相データを差し引くことにより、比較回路３１０のばらつき、リセット動作のチャージインジェクションやフィードスルーなどをキャンセルすることができる。信号処理部２５３は、信号処理後の画素データを出力回路２５４に供給する。
【０１４４】
出力回路２５４は、特徴量変換部２５２または信号処理部２５３からのデータをタイミング生成回路２１５の制御に従ってデジタルシグナルプロセッサ１２０へ出力するものである。
【０１４５】
なお、出力部２５０が、特徴量Ｆｖ＿（ｉ，ｊ）への変換を行っているが、出力部２５０の代わりに、後段の回路（デジタルシグナルプロセッサ１２０など）が、特徴量Ｆｖ＿（ｉ，ｊ）への変換を行う構成とすることもできる。
【０１４６】
図１８は、本技術の第１の実施の形態における特徴量変換部２５２による変換処理を説明するための図である。同図におけるａは、ＬＢＰａ＿（ｉ，ｊ）の一例を示し、同図におけるｂは、ＬＢＰｂ＿（ｉ，ｊ）の一例を示す。同図におけるｃは、ＬＢＰｃ＿（ｉ，ｊ）の一例を示し、同図におけるｄは、ＬＢＰｄ＿（ｉ，ｊ）の一例を示す。同図におけるｅは、特徴量Ｆｖ＿（ｉ，ｊ）の一例を示す。
【０１４７】
特徴量変換部２５２は、ＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）のそれぞれの桁ごとに、「１」の個数を計数する。例えば、左上の近傍画素に対応する桁は、ＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）において全て「１」である。したがって、特徴量Ｆｖ＿（ｉ，ｊ）の左上の近傍画素に対応する桁に「４」が設定される。また、左下の近傍画素に対応する桁は、ＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）において全て「０」である。したがって、特徴量Ｆｖ＿（ｉ，ｊ）の左下の近傍画素に対応する桁に「０」が設定される。
【０１４８】
この特徴量Ｆｖ＿（ｉ，ｊ）は、近傍画素ごとに、注目画素との画素信号の差を多値で表している。したがって、近傍画素毎に注目画素との画素信号の大小関係を２値で表すＬＢＰと比較して、特徴量Ｆｖ＿（ｉ，ｊ）の情報量は多く、特徴量画像の画質が向上する。このため、デジタルシグナルプロセッサ１２０が、特徴量Ｆｖ＿（ｉ，ｊ）からなる特徴量画像を用いて画像認識を行うことにより、ＬＢＰからなる特徴量画像を用いる場合と比較して、認識精度を向上させることができる。
【０１４９】
図１９は、本技術の第１の実施の形態における撮像装置１００内の処理フローをまとめた図である。画素回路２４０は、受光量に応じたアナログ信号を画素信号として生成し、ＡＤＣ３００に供給する。
【０１５０】
ＡＤＣ３００は、オフセット電圧の異なる４つの参照信号ＲＥＦを用いてＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）を生成し、特徴量変換部２５２に供給する。特徴量変換部２５２は、画素毎にＬＢＰａ＿（ｉ，ｊ）乃至ＬＢＰｄ＿（ｉ，ｊ）を、近傍画素毎に注目画素との画素信号の差を多値により表す特徴量Ｆｖ＿（ｉ，ｊ）に変換し、デジタルシグナルプロセッサ１２０に供給する。言い換えれば、画素毎に特徴量Ｆｖ＿（ｉ，ｊ）が抽出される。なお、ＡＤＣ３００および特徴量変換部２５２からなる回路は、特許請求の範囲に記載の特徴量抽出部の一例である。
【０１５１】
そして、デジタルシグナルプロセッサ１２０は、特徴量Ｆｖ＿（ｉ，ｊ）からなる特徴量画像に対して画像認識処理などを行う。
【０１５２】
一般的な撮像装置では、固体撮像素子が画素信号をＡＤ変換して通常画像を生成し、外部のプロセッサが通常画像からＬＢＰを抽出する。これに対して、固体撮像素子２００では、その外部のプロセッサではなく、固体撮像素子２００の内部で画素信号から直接にＬＢＰを抽出している。このため、画素信号のＡＤ変換を行う必要が無くなり、その分、撮像装置１００の消費電力を削減することができる。
【０１５３】
［撮像装置の動作例］
図２０は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００において、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
【０１５４】
撮像装置１００は、特徴量抽出モードが設定されたか否かを判断する（ステップＳ９０１）。特徴量抽出モードが設定された場合に（ステップＳ９０１：Ｙｅｓ）、撮像装置１００は、ＬＢＰを生成するためのＬＢＰ生成処理を実行する（ステップＳ９１０）。そして、撮像装置１００は、画素毎にＬＢＰを特徴量Ｆｖ＿（ｉ，ｊ）に変換し（ステップＳ９０２）、特徴量画像に対して画像認識を行う（ステップＳ９０３）。
【０１５５】
特徴量抽出モードが設定されていない場合に（ステップＳ９０１：Ｎｏ）、撮像装置１００は、画素毎に画素信号をＡＤ変換して通常画像を生成し（ステップＳ９０４）、通常画像に対して様々な画像処理を実行する（ステップＳ９０５）。ステップＳ９０３またはＳ９０５の後に撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。
【０１５６】
図２１は、本技術の第１の実施の形態におけるＬＢＰ生成処理の一例を示すフローチャートである。撮像装置１００内の固体撮像素子２００は、参照信号ＲＥＦａを用いて画素毎にＬＢＰａ＿（ｉ，ｊ）を生成する（ステップＳ９１１）。そして、固体撮像素子２００は、参照信号のオフセット電圧を変更し（ステップＳ９１２）、変更後の参照信号ＲＥＦｂを用いて画素毎にＬＢＰｂ＿（ｉ，ｊ）を生成する（ステップＳ９１３）。
【０１５７】
続いて固体撮像素子２００は、参照信号のオフセット電圧を変更し（ステップＳ９１４）、変更後の参照信号ＲＥＦｃを用いて画素毎にＬＢＰｃ＿（ｉ，ｊ）を生成する（ステップＳ９１５）。そして、固体撮像素子２００は、参照信号のオフセット電圧を変更し（ステップＳ９１６）、変更後の参照信号ＲＥＦｄを用いて画素毎にＬＢＰｄ＿（ｉ，ｊ）を生成する（ステップＳ９１７）。ステップＳ９１７の後に、固体撮像素子２００は、ＬＢＰ生成処理を終了する。
【０１５８】
このように、本技術の第１の実施の形態では、固体撮像素子２００が、近傍画素と注目画素とのそれぞれの画素信号の差を多値で表す特徴量Ｆｖ＿（ｉ，ｊ）を抽出するため、その差を２値で表すＬＢＰと比較して、特徴量の情報量を多くすることができる。これにより、特徴量画像の画質を向上させて、画像認識の認識精度を高くすることができる。
【０１５９】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００は、順に生成した複数の参照信号を用いて特徴量Ｆｖ＿（ｉ，ｊ）を抽出していたが、参照信号の個数が多いほど、ＡＤＣ３００の変換時間が長くなる。変換時間が長くなると、画素回路２４０がアナログの画素信号ＳＩＧ＿（ｉ，ｊ）を保持する時間が長くなり、リーク電流の影響などにより、信号レベルが変動するおそれが高くなる。この結果、ＡＤ変換の精度が低下してしまう。ＡＤ変換時間を短くするには、参照信号を１つのみとし、カウンタを用いてＡＤ変換を行えばよい。この第２の実施の形態の固体撮像素子２００は、カウンタを用いてＡＤ変換を行う点において第１の実施の形態と異なる。
【０１６０】
図２２は、本技術の第２の実施の形態におけるＡＤＣ３００の一構成例を示すブロック図である。この第２の実施の形態のＡＤＣ３００は、データ記憶部３５０の代わりに計数部３７０を備える点において第１の実施の形態と異なる。
【０１６１】
計数部３７０は、近傍画素ごとに計数回路３７１を備える。計数回路３７１は、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する時刻と、対応する近傍画素の比較結果ＶＣＯが反転する時刻との間の期間に亘って計数値を計数するものである。計数部３７０は、これらの計数値からなるデータを特徴量Ｆｖ＿（ｉ，ｊ）としてローカルビット線ＬＢＬを介してバッファ回路３６０に出力する。
【０１６２】
また、ＡＤＣ３００が特徴量Ｆｖ＿（ｉ，ｊ）を抽出するため、第２の実施形態の出力部２５０には、特徴量変換部２５２が設けられない。
【０１６３】
図２３は、本技術の第２の実施の形態における計数回路３７１の一構成例を示す回路図である。この計数回路３７１は、ＮＡＮＤ（否定論理積）ゲート３７２、ＮＯＲ（否定論理和）ゲート３７３およびアップダウンカウンタ３８０を備える。
【０１６４】
ＮＡＮＤゲート３７２は、対応する近傍画素の比較結果（ＶＣＯ＿（ｉ，ｊ−１）など）と、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）との否定論理積をスタートフラグＳＴＡとしてアップダウンカウンタ３８０に出力するものである。否定論理積演算により、注目画素と、対応する近傍画素とのいずれかの比較結果が反転した際にスタートフラグＳＴＡがハイレベルに設定され、アップダウンカウンタ３８０の計数が開始される。
【０１６５】
ＮＯＲゲート３７３は、対応する近傍画素の比較結果と、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）との否定論理和をストップフラグＳＴＰとしてアップダウンカウンタ３８０に出力するものである。否定論理和演算により、注目画素と、対応する近傍画素との両方の比較結果が反転した際にストップフラグＳＴＰがハイレベルに設定され、アップダウンカウンタ３８０の計数が終了する。
【０１６６】
アップダウンカウンタ３８０は、対応する近傍画素の比較結果に応じた符号の計数値を計数するものである。このアップダウンカウンタ３８０には、対応する近傍画素の比較結果がアップダウンフラグＵＤとして入力される。また、アップダウンカウンタ３８０には、垂直駆動回路２１３からのクロック信号ＣＬＫが入力される。
【０１６７】
アップダウンカウンタ３８０は、スタートフラグＳＴＡがハイレベルになると、アップダウンフラグＵＤがハイレベルであれば、クロック信号ＣＬＫに同期して計数値を増分（すなわち、アップカウント）する。一方、アップダウンフラグＵＤがローレベルであれば、アップダウンカウンタ３８０は、クロック信号ＣＬＫに同期して計数値を減分（すなわち、ダウンカウント）する。そして、ストップフラグＳＴＰがハイレベルになるとアップダウンカウンタ３８０は計数を停止する。そして、アップダウンカウンタ３８０は計数値をバッファ回路３６０に出力する。ここで、計数値は、多値であり、２ビット以上のビット列により表される。ただし、そのビット数は、撮像モードの画素データのビット数（１０ビット以上など）より小さくてよい。例えば、計数値の範囲が「−３」乃至「＋３」の範囲である場合には、符号を示す１ビットと、絶対値を示す２ビットとからなる３ビットが計数値として出力される。
【０１６８】
また、ＬＢＰ抽出モードにおけるクロック信号ＣＬＫの周波数は、撮像モードにおける当該クロック信号の周波数よりも低くてよい。例えば、撮像モードでは数十から数百メガヘルツ（ＭＨｚ）に設定されるのに対し、ＬＢＰ抽出モードでは数キロヘルツ（ｋＨｚ）乃至数十ヘルツ（Ｈｚ）に設定される。
【０１６９】
図２４は、本技術の第２の実施の形態におけるアップダウンカウンタ３８０の一構成例を示す回路図である。このアップダウンカウンタ３８０は、インバータ３８１、ＮＡＮＤゲート３８２、ＮＯＲゲート３８３、ＪＫフリップフロップ３８４を備える。また、アップダウンカウンタ３８０は、ＸＯＲ（排他的論理和）ゲート３８５および３８７と、ＪＫフリップフロップ３８６および３８９と、ＡＮＤ（論理積）ゲート３８８とを備える。
【０１７０】
インバータ３８１は、アップダウンフラグＵＤを反転するものである。このインバータ３８１は、反転した反転信号をＸＯＲゲート３８５および３８７に供給する。
【０１７１】
ＮＡＮＤゲート３８２は、クロック信号ＣＬＫとスタートフラグＳＴＡとの否定論理積をＮＯＲゲート３８３に出力するものである。
【０１７２】
ＮＯＲゲート３８３は、ＮＡＮＤゲート３８２からの信号とストップフラグＳＴＰとの否定論理和をＪＫフリップフロップ３８４、３８６および３８９に出力するものである。
【０１７３】
ＪＫフリップフロップ３８４は、計数値の第０ビットを保持するものである。このＪＫフリップフロップ３８４の入力端子ＪおよびＫには、ハイレベルが入力され、クロック端子には、ＮＯＲゲート３８３からの信号の反転値が入力される。また、ＪＫフリップフロップ３８４は、出力端子Ｑから、保持値をＸＯＲゲート３８５とバッファ回路３６０とに出力する。
【０１７４】
ＸＯＲゲート３８５は、インバータ３８１からの信号とフリップフロップ３８４からの信号との排他的論理和をＪＫフリップフロップ３８６およびＡＮＤゲート３８８に出力するものである。
【０１７５】
ＪＫフリップフロップ３８６は、計数値の第１ビットを保持するものである。このＪＫフリップフロップ３８６の入力端子ＪおよびＫには、ＸＯＲゲート３８５からの信号が入力され、クロック端子には、ＮＯＲゲート３８３からの信号の反転値が入力される。また、ＪＫフリップフロップ３８６は、出力端子Ｑから、保持値をＸＯＲゲート３８７とバッファ回路３６０とに出力する。
【０１７６】
ＸＯＲゲート３８７は、インバータ３８１からの信号とフリップフロップ３８６からの信号との排他的論理和をＡＮＤゲート３８８に出力するものである。
【０１７７】
ＡＮＤゲート３８８は、ＸＯＲゲート３８５および３８７のそれぞれからの信号の論理積をＪＫフリップフロップ３８９に出力するものである。
【０１７８】
ＪＫフリップフロップ３８９は、計数値の第２ビットを保持するものである。このＪＫフリップフロップ３８９の入力端子ＪおよびＫには、ＡＮＤゲート３８８からの信号が入力され、クロック端子には、ＮＯＲゲート３８３からの信号の反転値が入力される。また、ＪＫフリップフロップ３８９は、保持値をバッファ回路３６０に出力する。
【０１７９】
なお、アップダウンカウンタ３８０内の回路は、図２３で説明した機能を実現することができるのであれば、図２４に例示した構成に限定されない。
【０１８０】
図２５は、本技術の第２の実施の形態におけるアップカウントを行う動作の一例を示すタイミングチャートである。同図に例示するように第２の実施の形態のＤＡＣ２１１は、スロープ状の参照信号ＲＥＦを１回のみ供給する。
【０１８１】
ここで、座標（ｉ−１，ｊ−１）の近傍画素の画素信号ＳＩＧ＿（ｉ−１，ｊ−１）の電位が、注目画素の画素信号ＳＩＧ＿（ｉ，ｊ）の電位より高いものとする。この場合には、時刻Ｔ５１において近傍画素の比較結果ＶＣＯ＿（ｉ−１，ｊ−１）が先に反転し、その後に時刻Ｔ５２において注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が反転する。
【０１８２】
アップダウンカウンタ３８０は、時刻Ｔ５１から時刻Ｔ５２に亘ってアップカウントを行い、例えば、「＋１」の計数値を取得する。このように、近傍画素の画素信号の電位が、注目画素の画素信号の電位より高い場合には、アップカウントが行われる。そして、注目画素と近傍画素との電位差が大きいほど、計数期間が長くなり、計数値が大きくなる。このため、計数値は、注目画素と近傍画素とのそれぞれの画素信号の電位差の大きさを示す。
【０１８３】
図２６は、本技術の第２の実施の形態におけるダウンカウントを行う動作の一例を示すタイミングチャートである。
【０１８４】
ここで、座標（ｉ＋１，ｊ＋１）の近傍画素の画素信号ＳＩＧ＿（ｉ＋１，ｊ＋１）の電位が、注目画素の画素信号ＳＩＧ＿（ｉ，ｊ）の電位より低いものとする。この場合には、時刻Ｔ５３において注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）が先に反転し、その後に時刻Ｔ５４において注目画素の比較結果ＶＣＯ＿（ｉ＋１，ｊ＋１）が反転する。
【０１８５】
アップダウンカウンタ３８０は、時刻Ｔ５３から時刻Ｔ５４に亘ってダウンカウントを行い、例えば、「−３」の計数値を取得する。このように、近傍画素の画素信号の電位が、注目画素の画素信号の電位より低い場合には、ダウンカウントが行われる。
【０１８６】
図２５および図２６に例示したように、計数値の符号は、注目画素の画素信号と近傍画素の画素信号とのいずれが大きいかを示す。これらの画素信号の値が略一致する場合には、計数値は「０」となる。
【０１８７】
また、上述したように、第２の実施の形態では、ＤＡＣ２１１は、複数の参照信号を供給する必要が無い。このため、第１の実施の形態と比較してＡＤＣ３００の変換時間を短くすることができる。
【０１８８】
図２７は、本技術の第２の実施の形態における撮像装置１００内の処理フローをまとめた図である。画素回路２４０は、第１の実施の形態と同様に受光量に応じたアナログ信号を画素信号として生成し、ＡＤＣ３００に供給する。
【０１８９】
ＡＤＣ３００は、画素信号と参照信号との比較結果に基づいて計数値を計数し、画素毎に第１の実施の形態と同様の特徴量Ｆｖ＿（ｉ，ｊ）を抽出する。なお、ＡＤＣ３００は、特許請求の範囲に記載の特徴量抽出部の一例である。
【０１９０】
そして、デジタルシグナルプロセッサ１２０は、特徴量Ｆｖ＿（ｉ，ｊ）からなる特徴量画像に対して画像認識処理などを行う。特徴量Ｆｖ＿（ｉ，ｊ）は、注目画素と近傍画素とのそれぞれの画素信号の大小関係のみを示すＬＢＰと異なり、それらの画素信号の差の大きさを示す。このため、特徴量Ｆｖ＿（ｉ，ｊ）を用いることにより、画素信号の差は、ｋＴＣノイズや、比較回路３１０のオフセットなどの各種のノイズに埋もれるほどの値であったのか、それとも有意な値であったのかを判別することができる。したがって、画像認識の認識精度を向上させることができる。
【０１９１】
このように、本技術の第２の実施の形態では、ＡＤＣ３００は、画素信号と参照信号との比較結果に基づいて計数値を計数して特徴量を抽出するため、複数の参照信号を順に供給する第１の実施の形態と比較してＡＤＣ３００の変換時間を短くすることができる。これにより、ＡＤ変換の精度を向上させることができる。
【０１９２】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、ＡＤＣ３００は、参照信号が供給されるたびにＬＢＰの書込みと、読出しとを行っていたが、参照信号の個数が増大するに伴って、読出しの回数が増大してしまう。読出しの回数が増大すると、ＡＤＣ３００の変換時間が長くなってＡＤ変換の精度が低下するおそれがある。この第３の実施の形態の固体撮像素子２００は、複数のデータをまとめて読み出すことにより、データの読出しの回数を削減する点において第１の実施の形態と異なる。
【０１９３】
図２８は、本技術の第３の実施の形態におけるＡＤＣ３００の一構成例を示すブロック図である。この第３の実施の形態のＡＤＣ３００は、複数のデータ記憶部３５０を備える点において第１の実施の形態と異なる。データ記憶部３５０の個数は、例えば、参照信号の個数（４個）と同じである。また、バッファ回路３６０の個数は、データ記憶部３５０と同じである。
【０１９４】
垂直駆動回路２１３は、参照信号ＲＥＦａの供給時に、イネーブル信号ＬＢＰａ＿ＥＮを、参照信号ＲＥＦａに対応するデータ記憶部３５０に供給する。そのデータ記憶部３５０は、ＬＢＰａを保持する。
【０１９５】
次に垂直駆動回路２１３は、参照信号ＲＥＦｂの供給時に、イネーブル信号ＬＢＰｂ＿ＥＮを、参照信号ＲＥＦｂに対応するデータ記憶部３５０に供給する。そのデータ記憶部３５０は、ＬＢＰｂを保持する。
【０１９６】
同様に、垂直駆動回路２１３は、イネーブル信号ＬＢＰｃ＿ＥＮおよびＬＢＰｄ＿ＥＮを順に供給し、対応するデータ記憶部３５０は、ＬＢＰｃおよびＬＢＰｄを保持する。
【０１９７】
全てのデータ記憶部３５０にＬＢＰが保持されると、垂直駆動回路２１３は、ＷＯＲＤ信号を全てのデータ記憶部３５０に供給して、ＬＢＰａ乃至ＬＢＰｄの読出し動作を実行させる。これにより、データ記憶部３５０がＬＢＰａ乃至ＬＢＰｄを全て保持した際に、垂直駆動回路２１３は、それらのデータをまとめて読み出すことができる。
【０１９８】
このように、本技術の第３の実施の形態では、固体撮像素子２００は、複数のデータ記憶部３５０に複数のＬＢＰを全て書き込んだ後に読み出すため、書込みのたびにＬＢＰを読み出す場合と比較してＡＤＣ３００の変換時間を短くすることができる。これにより、アップダウンカウンタ３８０を用いることなく、ＡＤ変換の精度を向上させることができる。
【０１９９】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００は、画素信号の電位が近傍画素より高い場合にハイレベルのビットを保持していた。しかし、画素２３０内でノイズが生じた場合には、その関係性が満たされない場合にもハイレベルのビットが保持されてしまうおそれがある。例えば、注目画素および近傍画素のそれぞれの画素信号の電位差が一定以下の際は、ノイズにより生じた電位差と判断して、電位差が一定値より大きい場合に画素２３０がハイレベルのビットを保持すれば、ノイズの影響を軽減することができる。この第４の実施の形態のＡＤＣ３００は、電位差が一定値より大きい場合に画素２３０がハイレベルのビットを保持する点において第１の実施の形態と異なる。
【０２００】
図２９は、本技術の第４の実施の形態におけるデータ記憶部３５０の一構成例を示す回路図である。この第４の実施の形態のデータ記憶部３５０は、遅延回路３９０をさらに備える点において第１の実施の形態と異なる。
【０２０１】
遅延回路３９０は、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）を一定の遅延時間ｄＴに亘って遅延させるものである。この遅延回路３９０は、遅延させた比較結果ＶＣＯ＿（ｉ，ｊ）をラッチ制御回路３５２に供給する。
【０２０２】
遅延時間ｄＴの間の参照信号の変動量は固定であり、その変動量をｄＶｆｉｘとすると、注目画素および近傍画素のそれぞれの画素信号の電位差がｄＶｆｉｘより大きい場合にハイレベルのビットが保持される。
【０２０３】
このように、本技術の第４の実施の形態では、遅延回路３９０が注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）を遅延させるため、その遅延時間に応じた固定値ｄＶｆｉｘよりも、注目画素および近傍画素の電位差が大きい場合に「１」を確実に保持することができる。これにより、ノイズの影響を軽減することができる。
【０２０４】
＜５．第５の実施の形態＞
上述の第１の実施の形態では、ＡＤＣ３００は、画素信号の電位が近傍画素より高い場合にハイレベルのビットを保持していた。しかし、画素２３０内でノイズが生じた場合には、その関係性が満たされない場合にもハイレベルのビットが保持されてしまうおそれがある。例えば、注目画素および近傍画素のそれぞれの画素信号の電位差が一定以下の際は、ノイズにより生じた電位差と判断して、電位差が一定値より大きい場合に画素２３０がハイレベルのビットを保持すれば、ノイズの影響を軽減することができる。この第５の実施の形態のＡＤＣ３００は、電位差が一定値より大きい場合に画素２３０がハイレベルのビットを保持する第１の実施の形態と異なる。
【０２０５】
図３０は、本技術の第５の実施の形態におけるＡＤＣ３００の一構成例を示すブロック図である。この第５の実施の形態のＡＤＣ３００は、遅延回路３９０をさらに備える点において第１の実施の形態と異なる。
【０２０６】
遅延回路３９０は、近傍画素の比較結果ＶＣＯを一定の遅延時間ｄＴに亘って遅延させるものである。この遅延回路３９０は、遅延させた比較結果ＶＣＯを近傍画素のそれぞれのデータ記憶部３５０に供給する。
【０２０７】
このように、本技術の第５の実施の形態では、遅延回路３９０が近傍画素の比較結果ＶＣＯを遅延させるため、その遅延時間に応じた固定値ｄＶｆｉｘよりも、注目画素および近傍画素の電位差が大きい場合に「１」を確実に保持することができる。これにより、注目画素の比較結果ＶＣＯ＿（ｉ，ｊ）を遅延させることなく、ノイズの影響を軽減することができる。
【０２０８】
＜６．第６の実施の形態＞
上述の第１の実施の形態では、画素アレイ部２２０内に画素ごとにＡＤＣ３００を配置していたが、微細化の進展に伴って、画素当たりの回路規模が増大するおそれがある。例えば、浮遊拡散層やトランジスタを複数の画素が共有する画素共有型の構成とすれば、画素当たりの回路規模を削減することができる。この第６の実施の形態の画素アレイ部２２０は、複数の画素が浮遊拡散層を共有する点において第１の実施の形態と異なる。
【０２０９】
図３１は、本技術の第６の実施の形態における画素アレイ部２２０の一構成例を示す平面図である。この第６の実施の形態の画素アレイ部２２０には、複数のエリアブロック４００が二次元格子状に配列される。それぞれのエリアブロック４００には、複数の画素が配置される。例えば、エリアブロック４００には、４つの画素が２行×２列に配列される。エリアブロック４００内の画素は、浮遊拡散層とＡＤＣ３００とを共有する。
【０２１０】
図３２は、本技術の第６の実施の形態におけるエリアブロック４００の一構成例を示す回路図である。このエリアブロック４００は、画素回路４１０、４２０、４３０および４４０と、浮遊拡散層４５０と、ＡＤＣ３００とを備える。
【０２１１】
画素回路４１０は、排出トランジスタ４１１、転送トランジスタ４１２およびフォトダイオード４１３を備える。画素回路４２０は、排出トランジスタ４２１、転送トランジスタ４２２およびフォトダイオード４２３を備える。画素回路４３０は、排出トランジスタ４３１、転送トランジスタ４３２およびフォトダイオード４３３を備える。画素回路４４０は、排出トランジスタ４４１、転送トランジスタ４４２およびフォトダイオード４４３を備える。
【０２１２】
フォトダイオード４１３は、入射光を光電変換して電荷を生成するものである。排出トランジスタ４１１は、排出制御信号ＯＦＧに従ってフォトダイオード４１３の電荷を排出するものである。転送トランジスタ４１２は、転送信号ＴＸ０に従って、フォトダイオード４１３から浮遊拡散層４５０へ電荷を転送するものである。
【０２１３】
画素回路４２０、４３０および４４０内の素子の機能は、画素回路４１０内の同名の素子と同一である。ただし、画素回路４２０、４３０および４４０には、転送信号ＴＸ１、ＴＸ２およびＴＸ３が供給される。画素駆動回路２１４は、転送信号ＴＸ０、ＴＸ１、ＴＸ２およびＴＸ３を順に供給して、電荷を順に転送させる。
【０２１４】
なお、４画素が浮遊拡散層４５０およびＡＤＣ３００を共有しているが、共有する画素数は４画素に限定されない。例えば、８画素が浮遊拡散層４５０等を共有する構成であってもよい。
【０２１５】
このように、本技術の第６の実施の形態では、４画素が浮遊拡散層４５０およびＡＤＣ３００を共有するため、浮遊拡散層４５０等を画素毎に配置する構成と比較して、画素当たりの回路の規模を削減することができる。
【０２１６】
＜７．第７の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００は、通常画像と特徴量画像との両方を撮像する場合に、画像毎に露光を行っていた。すなわち、少なくとも２回の露光を行う必要があった。しかし、露光により通常画像および特徴量画像の一方を生成して保持した際に続けて他方も生成して保持すれば、露光を再度行う必要がなくなる。この第７の実施の形態の固体撮像素子２００は、一度の露光により、通常画像と特徴量画像との両方を生成する点において第１の実施の形態と異なる。
【０２１７】
図３３は、本技術の第７の実施の形態におけるデータ記憶部３５０の一構成例を示す回路図である。この第７の実施の形態のデータ記憶部３５０は、ラッチ制御回路３５２と、複数のＬＢＰラッチ回路４６０と、複数の時刻コードラッチ回路４７０とを備える。ＬＢＰラッチ回路４６０は、近傍画素ごとに配置される。また、時刻コードラッチ回路４７０の個数は、時刻コードのビット数と同じである。例えば、近傍画素が８画素で、時刻コードが８ビットである場合には、ＬＢＰラッチ回路４６０および時刻コードラッチ回路４７０は、それぞれ８個ずつ配置される。
【０２１８】
ＬＢＰラッチ回路４６０は、ラッチ制御回路３５２の制御に従って対応する近傍画素の比較結果ＶＣＯを保持するものである。また、時刻コードラッチ回路４７０は、ラッチ制御回路３５２の制御に従って、時刻コードのうち対応するビットを保持するものである。
【０２１９】
図３４は、本技術の第７の実施の形態におけるＬＢＰラッチ回路４６０の一構成例を示す回路図である。このＬＢＰラッチ回路４６０は、スイッチ３５５とラッチ回路３５６とを備える。これらの機能は、第１の実施の形態の同名の回路と同一である。
【０２２０】
図３５は、本技術の第７の実施の形態における時刻コードラッチ回路４７０の一構成例を示す回路図である。この時刻コードラッチ回路４７０は、インバータ４６１および４６２とスイッチ４６３とを備える。
【０２２１】
インバータ４６１は、制御信号Ｌに従って、インバータ４６２からの信号を反転してインバータ４６２の入力端子とスイッチ４６３とに出力するものである。
【０２２２】
インバータ４６２は、スイッチ４６３またはインバータ４６１からの信号を反転してインバータ４６１の入力端子に出力するものである。
【０２２３】
スイッチ４６３は、制御信号Ｔに従って、インバータ４６１および４６２からなるループ回路と、バッファ回路３６０との間の経路を開閉するものである。
【０２２４】
垂直駆動回路２１３は、露光終了時に、８個のＬＢＰラッチ回路４６０にＬＢＰを保持させ、次に８個の時刻コードラッチ回路４７０に時刻コードを画素データとして保持させる。そして垂直駆動回路２１３は、ＬＢＰａ乃至ＬＢＰｄと、画素データからなる通常画像とを順に出力させる。
【０２２５】
このように、本技術の第７の実施の形態では、データ記憶部３５０がＬＢＰに加えて時刻コードをさらに保持するため、一度の露光により、特徴量画像および通常画像の両方を生成することができる。
【０２２６】
＜８．第８の実施の形態＞
上述の第１の実施の形態では、画素アレイ部２２０において、注目画素は、８個の近傍画素の全てに比較結果ＶＣＯ＿（ｉ，ｊ）を出力していたが、微細化に伴って比較結果を伝送する配線数が増大してしまうため、配線数を削減することが望ましい。ただし、配線数を削減するには、配線数の削減に伴いビット数が減少したＬＢＰを元のビット数に復元する処理を行う必要がある。この第８の実施の形態の固体撮像素子２００は、比較結果を伝送する配線の数を削減し、ＬＢＰを復元する点において第１の実施の形態と異なる。
【０２２７】
図３６は、本技術の第８の実施の形態における信号線の配線接続について説明するための図である。同図におけるａは、第１の実施の形態における注目画素と近傍画素との接続関係を示す図である。同図におけるｂは、第８の実施の形態における注目画素と近傍画素との接続関係を示す図である。同図において、太線の矢印は、注目画素のラッチに接続される近傍画素の配線を表し、細い実線の矢印は近傍画素のラッチに接続される配線を表している。また、矢印の向きは接続方向を表す。
【０２２８】
第１の実施の形態では、互いに反対方向を向いて重なる矢印の組みが複数存在する。これは、すなわち、注目画素の画素値と近傍画素の画素値の相対関係を重複して取得していることを示している。互いに反対方向を向いて重なる矢印の組みで関連付けられる画素で互いに取得したＬＢＰ値は、情報（＝２つの画素の大小関係）としては等価で、ＬＢＰ値自体は他方のビット反転値となる関係である。
【０２２９】
したがって、図３６におけるｂに例示するように、近傍画素間の配線接続を半分に減らすことができる。この例では、注目画素に対して点対称の位置の一対の近傍画素の一方と、注目画素とが接続される。例えば、注目画素の左上の近傍画素と、右下の近傍画素とが、注目画素に対して点対称であるため、それらのうち左上の近傍画素が接続され、右下の近傍画素は接続されない。これにより、各画素で取得されるＬＢＰのビット数は半分（４ビットなど）となるが、後述する演算処理により所望のＬＢＰを完全に復元できる。
【０２３０】
図３７は、本技術の第８の実施の形態におけるデータ記憶部３５０の一構成例を示す回路図である。このデータ記憶部３５０では、スイッチ３５５およびラッチ回路３５６のそれぞれの個数が、第１の実施の形態と比べて半分（例えば、４個）に削減されている。
【０２３１】
図３８は、本技術の第８の実施の形態における出力部２５０の一構成例を示す回路図である。この第８の実施の形態の出力部２５０は、補間処理部２５５をさらに備える点において第１の実施の形態と異なる。
【０２３２】
補間処理部２５５は、注目画素に対して点対称の位置の一対の近傍画素の一方に対応するビットからなるＬＢＰにおいて、他方に対応するビットを補間するものである。この補間処理部２５５は、例えば、次の処理により補間を行う。
【０２３３】
まず、注目画素で得られたＬＢＰ値の０ビット目をそのまま注目画素の０ビット目の値とする。注目画素で得られたＬＢＰ値の１ビット目もそのまま注目画素の１ビット目の値とする。同様に、注目画素で得られたＬＢＰ値の２ビット目をそのまま注目画素の２ビット目の値とし、注目画素で得られたＬＢＰ値の３ビット目をそのまま注目画素の３ビット目の値とする。
【０２３４】
また、座標（ｉ＋１，ｊ＋１）の近傍画素で得られたＬＢＰ値の０ビット目を反転し、注目画素の４ビット目の値とする。座標（ｉ＋１，ｊ）の近傍画素で得られたＬＢＰ値の１ビット目を反転し、注目画素の５ビット目の値とする。さらに、注目画素の（ｉ−１，ｊ＋１）に近傍画素で得られたＬＢＰ値の２ビット目を反転し、注目画素の６ビット目の値とする。座標（ｉ，ｊ−１）の近傍画素で得られたＬＢＰ値の３ビット目を反転し、注目画素の7ビット目の値とする。
【０２３５】
なお、撮像装置１００は、補間処理を固体撮像素子２００内で行っているが、固体撮像素子２００の外部（デジタルシグナルプロセッサ１２０など）で行ってもよい。
【０２３６】
このように、本技術の第８の実施の形態では、注目画素に対して点対称な一対の近傍画素の一方と注目画素とを接続してＬＢＰを復元するため、近傍画素全てと接続する場合と比較して、画素アレイ部２２０の配線数を削減することができる。また、データ記憶部３５０の回路規模を削減することができる。
【０２３７】
＜９．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０２３８】
図３９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０２３９】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０２４０】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０２４１】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２４２】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０２４３】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０２４４】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０２４５】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０２４６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２４７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０２４８】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０２４９】
図４０は、撮像部１２０３１の設置位置の例を示す図である。
【０２５０】
図４０では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０２５１】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２５２】
なお、図４０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０２５３】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０２５４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２５５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０２５６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０２５７】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１に記載の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、障害物などの画像認識の精度を向上させることができるため、車両制御システムの安全性を向上させることができる。
【０２５８】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２５９】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０２６０】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０２６１】
なお、本技術は以下のような構成もとることができる。
（１）それぞれが受光量に応じたアナログ信号を生成して画素信号として出力する複数の画素回路と、
前記複数の画素回路のうち注目した注目画素回路の近傍の近傍画素回路と前記注目画素回路とのそれぞれからの前記画素信号の差の大きさを前記近傍画素回路ごとに多値により表す特徴量を抽出する特徴量抽出部と
を具備する撮像装置。
（２）オフセット電圧が互いに異なる複数の参照信号を順に供給する参照信号供給部をさらに具備し、
前記特徴量抽出部は、前記画素信号と前記複数の参照信号のそれぞれとを比較した比較結果に基づいて前記特徴量を抽出する
前記（１）記載の撮像装置。
（３）前記特徴量抽出部は、
前記画素信号と前記複数の参照信号のそれぞれとを比較して前記比較結果を出力する比較部と、
前記比較結果に基づいて複数のローカルビットパターンを順に生成して記憶する記憶部と、
前記複数のローカルビットパターンからなるデータを前記特徴量に変換する特徴量変換部と
を備える前記（２）記載の撮像装置。
（４）前記記憶部は、互いに異なるローカルビットパターンを生成して記憶する複数のデータ記憶部を備え、
前記特徴量変換部は、前記複数のデータ記憶部の全てに前記ローカルビットパターンが記憶された後に前記ローカルビットパターンのそれぞれを読み出して前記特徴量に変換する
前記（３）記載の撮像装置。
（５）前記記憶部は、前記比較結果が反転したときの時刻を示す時刻コードをさらに記憶する前記（３）または（４）に記載の撮像装置。
（６）前記比較部は、前記注目画素回路からの前記画素信号と前記複数の参照信号のそれぞれとの前記比較結果を注目画素比較結果として出力するとともに前記近傍画素回路からの前記画素信号と前記複数の参照信号のそれぞれとの前記比較結果を近傍画素比較結果として出力し、
前記データ記憶部は、
前記近傍画素比較結果を保持するラッチ回路と、
前記注目画素比較結果が反転したときに前記近傍画素比較結果を前記ラッチ回路に保持させるラッチ制御回路と、
前記注目画素比較結果および前記近傍画素比較結果の一方を所定時間に亘って遅延させて前記ラッチ回路および前記ラッチ制御回路のいずれかに出力する遅延回路と
を備える前記（３）から（５）のいずれかに記載の撮像装置。
（７）前記遅延回路は、前記注目画素比較結果を遅延させて前記ラッチ制御回路に出力する前記（６）記載の撮像装置。
（８）前記遅延回路は、前記近傍画素比較結果を遅延させて前記ラッチ回路に出力する前記（６）記載の撮像装置。
（９）前記特徴量抽出部は、
前記画素信号のそれぞれと所定の参照信号とを比較して比較結果として出力する比較部と、
前記注目画素回路に対応する前記比較結果が反転する時刻と前記近傍画素回路に対応する前記比較結果が反転する時刻との間の期間に亘って計数値を計数して前記特徴量として出力する計数部と
を具備する前記（１）記載の撮像装置。
（１０）前記計数部は、前記注目画素回路に対応する前記比較結果と前記近傍画素回路に対応する前記比較結果との一方が他方よりも先に反転した場合には前記計数値を増分し、前記他方が前記一方よりも先に反転した場合には前記計数値を減分する
前記（９）記載の撮像装置。
（１１）前記複数の画素回路は、複数のエリアブロックのそれぞれに配置され、
前記複数のエリアブロックのそれぞれは、
前記複数の画素回路と
前記複数の画素回路により供給される浮遊拡散層と
を備える前記（１）から（１０）のいずれかに記載の撮像装置。
（１２）前記近傍画素回路は、前記注目画素回路に対して点対称の位置の一対の近傍画素回路を含み、
前記特徴量抽出部は、前記一対の近傍画素回路の一方と前記注目画素回路とのそれぞれからの前記画素信号の差の大きさを多値により表す前記特徴量を抽出する
前記（１）から（１１）のいずれかに記載の撮像装置。
（１３）前記特徴量に基づいて所定の物体を認識する処理を行う画像処理部をさらに具備する
前記（１）から（１２）のいずれかに記載の撮像装置。
（１４）複数の画素回路のそれぞれが受光量に応じたアナログ信号を生成して画素信号として出力する出力手順と、
前記複数の画素回路のうち注目した注目画素回路の近傍の近傍画素回路と前記注目画素回路とのそれぞれからの前記画素信号の差の大きさを前記近傍画素回路ごとに多値により表す特徴量を抽出する特徴量抽出手順と
を具備する撮像装置の制御方法。
【符号の説明】
【０２６２】
１００  撮像装置
１１０  光学部
１２０  デジタルシグナルプロセッサ
１３０  表示部
１４０  操作部
１５０  バス
１６０  フレームメモリ
１７０  記録部
１８０  電源部
２００  固体撮像素子
２１１  ＤＡＣ
２１２  時刻コード発生部
２１３  垂直駆動回路
２１４  画素駆動回路
２１５  タイミング生成回路
２２０  画素アレイ部
２２１  時刻コード転送部
２３０  画素
２４０、４１０、４２０、４３０、４４０  画素回路
２４１  リセットトランジスタ
２４２、４１２、４２２、４３２、４４２  転送トランジスタ
２４３、４５０  浮遊拡散層
２４４、４１３、４２３、４３３、４４３  フォトダイオード
２４５、４１１、４２１、４３１、４４１  排出トランジスタ
２５０  出力部
２５１、３５５、３５９、４６３  スイッチ
２５２  特徴量変換部
２５３  信号処理部
２５４  出力回路
２５５  補間処理部
３００  ＡＤＣ
３１０  比較回路
３２０  差動入力回路
３２１、３２２、３２３、３４１、３４２、３４３  ｐＭＯＳトランジスタ
３２４、３２５、３２６、３３１、３４４、３４５  ｎＭＯＳトランジスタ
３３０  電圧変換回路
３４０  正帰還回路
３５０  データ記憶部
３５１  マルチプレクサ
３５２  ラッチ制御回路
３５３  ＯＲ（論理和）ゲート
３５４、３５７、３５８、３６３、３８１、４６１、４６２  インバータ
３５６  ラッチ回路
３６０  バッファ回路
３６１  双方向バッファ
３６２  バッファ
３７０  計数部
３７１  計数回路
３７２、３８２  ＮＡＮＤ（否定論理積）ゲート
３７３、３８３  ＮＯＲ（否定論理和）ゲート
３８０  アップダウンカウンタ
３８４、３８６、３８９  ＪＫフリップフロップ
３８５、３８７  ＸＯＲ（排他的論理和）ゲート
３８８  ＡＮＤ（論理積）ゲート
３９０  遅延回路
４００  エリアブロック
４６０  ＬＢＰラッチ回路
４７０  時刻コードラッチ回路
１２０３１  撮像部
【図１】
2019047383.tif 000003
【図２】
2019047383.tif 000004
【図３】
2019047383.tif 000005
【図４】
2019047383.tif 000006
【図５】
2019047383.tif 000007
【図６】
2019047383.tif 000008
【図７】
2019047383.tif 000009
【図８】
2019047383.tif 000010
【図９】
2019047383.tif 000011
【図１０】
2019047383.tif 000012
【図１１】
2019047383.tif 000013
【図１２】
2019047383.tif 000014
【図１３】
2019047383.tif 000015
【図１４】
2019047383.tif 000016
【図１５】
2019047383.tif 000017
【図１６】
2019047383.tif 000018
【図１７】
2019047383.tif 000019
【図１８】
2019047383.tif 000020
【図１９】
2019047383.tif 000021
【図２０】
2019047383.tif 000022
【図２１】
2019047383.tif 000023
【図２２】
2019047383.tif 000024
【図２３】
2019047383.tif 000025
【図２４】
2019047383.tif 000026
【図２５】
2019047383.tif 000027
【図２６】
2019047383.tif 000028
【図２７】
2019047383.tif 000029
【図２８】
2019047383.tif 000030
【図２９】
2019047383.tif 000031
【図３０】
2019047383.tif 000032
【図３１】
2019047383.tif 000033
【図３２】
2019047383.tif 000034
【図３３】
2019047383.tif 000035
【図３４】
2019047383.tif 000036
【図３５】
2019047383.tif 000037
【図３６】
2019047383.tif 000038
【図３７】
2019047383.tif 000039
【図３８】
2019047383.tif 000040
【図３９】
2019047383.tif 000041
【図４０】
2019047383.tif 000042