(57)【要約】【課題】アドレスイベントを検出する固体撮像素子において、回路規模を削減する。【解決手段】固体撮像素子は、画素アレイ部と、駆動回路とを具備する。この固体撮像素子において、画素アレイ部には、入射された光量の対数値に比例したアナログ信号を出力する対数応答画素と入射された光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号を出力する検出画素とが配列される。また、固体撮像素子において、駆動回路は、対数応答画素および検出画素を駆動してアナログ信号および検出信号を出力させる。【選択図】図４
2020088722.tif 000002
【特許請求の範囲】
【請求項１】
入射された光量の対数値に比例したアナログ信号を出力する対数応答画素と入射された光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号を出力する検出画素とを配列した画素アレイ部と、
前記対数応答画素および前記検出画素を駆動して前記アナログ信号および前記検出信号を出力させる駆動回路と
を具備する固体撮像素子。
【請求項２】
前記対数応答画素は、
光電変換により光電流を生成する光電変換素子と、
前記光電流を当該光電流の対数値に比例した電圧に変換する電流電圧変換部と、
前記電圧を増幅して前記アナログ信号として出力する対数値読出し回路と
を備える請求項１記載の固体撮像素子。
【請求項３】
前記電流電圧変換部は、前記光電変換素子にソースが接続され、所定の電源端子にゲートおよびドレインが接続されたＮ型トランジスタを備え、
前記光電変換素子および前記Ｎ型トランジスタの接続点が前記対数値読出し回路に接続される
請求項２記載の固体撮像素子。
【請求項４】
前記電流電圧変換部は、
前記対数値読出し回路にゲートが接続され、前記光電変換素子にソースが接続され、所定の電源端子にドレインが接続されたＮ型トランジスタと、
前記Ｎ型トランジスタおよび前記光電変換素子の接続点の電位を反転して前記ゲートに出力するインバータと
を備える請求項２記載の固体撮像素子。
【請求項５】
前記電流電圧変換部は、
電源端子と基準端子との間に直列に接続されたＮ型トランジスタおよび第１のＰ型トランジスタと、
前記Ｎ型トランジスタおよび前記第１のＰ型トランジスタの接続点と前記光電変換素子との間に挿入された第２のＰ型トランジスタと
を備える請求項２記載の固体撮像素子。
【請求項６】
前記電流電圧変換部には、２段のループ回路が設けられ、
前記ループ回路のそれぞれは、ループ状に接続された一対のＮ型トランジスタを備える
請求項２記載の固体撮像素子。
【請求項７】
前記電流電圧変換部は、
前記対数値読出し回路にゲートが接続され、前記光電変換素子にソースが接続され、所定の電源端子にドレインが接続された第１のＮ型トランジスタと、
前記第１のＮ型トランジスタと前記光電変換素子との接続点にゲートが接続され、ドレインが所定の基準端子に接続された第２のＮ型トランジスタと、
前記第２のＮ型トランジスタと電源端子との間に挿入されたＰ型トランジスタと
を備える請求項２記載の固体撮像素子。
【請求項８】
前記電流電圧変換部は、前記第１のＮ型トランジスタのゲートと前記第２のＮ型トランジスタのゲートとの間に挿入された容量をさらに備える
請求項７記載の固体撮像素子。
【請求項９】
前記画素アレイ部には、所定数の前記検出画素と前記所定数の前記対数応答画素とが配列される
請求項１記載の固体撮像素子。
【請求項１０】
前記画素アレイ部には、所定数の前記検出画素と前記所定数より多い画素数の前記対数応答画素とが配列される
請求項１記載の固体撮像素子。
【請求項１１】
前記検出画素は、所定の方向と前記所定の方向に垂直な方向とにおいて１画素おきに配列される
請求項１０記載の固体撮像素子。
【請求項１２】
前記対数応答画素は、二次元格子状に配列され、
前記検出画素は、所定方向に沿って配列される
請求項１０記載の固体撮像素子。
【請求項１３】
前記検出画素のサイズは、前記対数応答画素よりも大きい
請求項１０記載の固体撮像素子。
【請求項１４】
前記検出画素は、前記光量の対数値に比例したアナログ信号をさらに出力する
請求項１記載の固体撮像素子。
【請求項１５】
前記対数応答画素は、前記光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号をさらに出力する
請求項１記載の固体撮像素子。
【請求項１６】
前記対数応答画素は、
光電流を当該光電流の対数値に比例した第１の電圧に変換する第１の対数応答部と、
前記第１の電圧を増幅して前記アナログ信号として出力する第１の対数値読出し回路と
を備え、
前記検出画素は、
光電流を当該光電流の対数値に比例した第２の電圧に変換する第２の対数応答部と、
前記第１および第２の電圧の一方の変化量が前記閾値を超えたか否かを検出して前記検出信号を出力する検出回路と
を備える請求項１記載の固体撮像素子。
【請求項１７】
入射された光量の対数値に比例したアナログ信号を出力する対数応答画素と入射された光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号を出力する検出画素とを配列した画素アレイ部と、
前記対数応答画素および前記検出画素を駆動して前記アナログ信号および前記検出信号を出力させる駆動回路と、
前記アナログ信号をデジタル信号に変換するアナログデジタル変換部と
を具備する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像素子、および、撮像装置に関する。入射光の変化量が閾値を超えるか否かを検出する固体撮像素子、および、撮像装置に関する。
【背景技術】
【０００２】
従来より、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量の変化量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている（例えば、非特許文献１参照。）。このように、画素毎にアドレスイベントを検出する固体撮像素子は、ＤＶＳ（Dynamic Vision Sensor）と呼ばれる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Jing Huang, et al., A Dynamic Vision Sensor with Direct Logarithmic Output and Full-frame Picture-On-Demand, 2017 IEEE International Symposium on Circuits and Systems (ISCAS).
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の非同期型の固体撮像素子（すなわち、ＤＶＳ）では、同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかしながら、アドレスイベントの検出回路は、同期型における画素回路よりもトランジスタなどの素子数が多く、そのような回路を画素毎に設けると、回路規模が増大してしまうという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントを検出する固体撮像素子において、回路規模を削減することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入射された光量の対数値に比例したアナログ信号を出力する対数応答画素と入射された光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号を出力する検出画素とを配列した画素アレイ部と、上記対数応答画素および上記検出画素を駆動して上記アナログ信号および上記検出信号を出力させる駆動回路とを具備する固体撮像素子である。これにより、アドレスイベントの検出の一方で、撮像が行われるという作用をもたらす。
【０００７】
また、この第１の側面において、上記対数応答画素は、光電変換により光電流を生成する光電変換素子と、上記光電流を当該光電流の対数値に比例した電圧に変換する電流電圧変換部と、上記電圧を増幅して上記アナログ信号として出力する対数値読出し回路とを備えてもよい。これにより、光電流の対数値に応じた電圧が出力されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記電流電圧変換部は、上記光電変換素子にソースが接続され、所定の電源端子にゲートおよびドレインが接続されたＮ型トランジスタを備え、上記光電変換素子および上記Ｎ型トランジスタの接続点が上記対数値読出し回路に接続されてもよい。これにより、アナログ信号が読み出されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記電流電圧変換部は、上記対数値読出し回路にゲートが接続され、上記光電変換素子にソースが接続され、所定の電源端子にドレインが接続されたＮ型トランジスタと、上記Ｎ型トランジスタおよび上記光電変換素子の接続点の電位を反転して上記ゲートに出力するインバータとを備えてもよい。これにより、光電流が電圧に変換されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記電流電圧変換部は、電源端子と基準端子との間に直列に接続されたＮ型トランジスタおよび第１のＰ型トランジスタと、上記Ｎ型トランジスタおよび上記第１のＰ型トランジスタの接続点と上記光電変換素子との間に挿入された第２のＰ型トランジスタとを備えてもよい。これにより、光電流が電圧に変換されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記電流電圧変換部には、２段のループ回路が設けられ、上記ループ回路のそれぞれは、ループ状に接続された一対のＮ型トランジスタを備えてもよい。これにより、光電流が電圧に変換されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記電流電圧変換部は、上記対数値読出し回路にゲートが接続され、上記光電変換素子にソースが接続され、所定の電源端子にドレインが接続された第１のＮ型トランジスタと、上記第１のＮ型トランジスタと上記光電変換素子との接続点にゲートが接続され、ドレインが所定の基準端子に接続された第２のＮ型トランジスタと、上記第２のＮ型トランジスタと電源端子との間に挿入されたＰ型トランジスタとを備えてもよい。これにより、光電流が電圧に変換されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記電流電圧変換部は、上記第１のＮ型トランジスタのゲートと上記第２のＮ型トランジスタのゲートとの間に挿入された容量をさらに備えてもよい。これにより、光電流が電圧に変換されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記画素アレイ部には、所定数の上記検出画素と上記所定数の上記対数応答画素とが配列されてもよい。これにより、検出信号と同数のアナログ信号が出力されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記画素アレイ部には、所定数の上記検出画素と上記所定数より多い画素数の上記対数応答画素とが配列されてもよい。これにより、検出信号よりも多くのアナログ信号が出力されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記検出画素は、所定の方向と上記所定の方向に垂直な方向とにおいて１画素おきに配列されてもよい。これにより、検出信号よりも多くのアナログ信号が出力されるという作用をもたらす。
【００１７】
また、この第１の側面において、上記対数応答画素は、二次元格子状に配列され、上記検出画素は、所定方向に沿って配列されてもよい。これにより、検出信号よりも多くのアナログ信号が出力されるという作用をもたらす。
【００１８】
また、この第１の側面において、上記検出画素のサイズは、上記対数応答画素よりも大きくてもよい。これにより、検出信号よりも多くのアナログ信号が出力されるという作用をもたらす。
【００１９】
また、この第１の側面において、上記検出画素は、上記光量の対数値に比例したアナログ信号をさらに出力してもよい。これにより、検出信号よりも多くのアナログ信号が出力されるという作用をもたらす。
【００２０】
また、この第１の側面において、上記対数応答画素は、上記光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号をさらに出力してもよい。これにより、アナログ信号よりも多くの検出信号が出力されるという作用をもたらす。
【００２１】
また、この第１の側面において、上記対数応答画素は、光電流を当該光電流の対数値に比例した第１の電圧に変換する第１の対数応答部と、上記第１の電圧を増幅して上記アナログ信号として出力する第１の対数値読出し回路とを備え、上記検出画素は、光電流を当該光電流の対数値に比例した第２の電圧に変換する第２の対数応答部と、上記第１および第２の電圧の一方の変化量が上記閾値を超えたか否かを検出して上記検出信号を出力する検出回路とを備えてもよい。これにより、回路規模が削減されるという作用をもたらす。
【００２２】
また、本技術の第２の側面は、入射された光量の対数値に比例したアナログ信号を出力する対数応答画素と入射された光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号を出力する検出画素とを配列した画素アレイ部と、上記対数応答画素および上記検出画素を駆動して上記アナログ信号および上記検出信号を出力させる駆動回路と、上記アナログ信号をデジタル信号に変換するアナログデジタル変換部とを具備する撮像装置である。これにより、アドレスイベントの検出の一方で、アナログ信号の読出しとが行われるという作用をもたらす。
【図面の簡単な説明】
【００２３】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。
【図３】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態における画素アレイ部の一構成例を示す平面図である。
【図５】本技術の第１の実施の形態におけるアドレスイベント検出画素の一構成例を示すブロック図である。
【図６】本技術の第１の実施の形態におけるアドレスイベント検出回路の一構成例を示す回路図である。
【図７】本技術の第１の実施の形態における容量を削減したアドレスイベント検出回路の一構成例を示す回路図である。
【図８】本技術の第１の実施の形態における光量に対する画素電圧Ｖｐの一例を示すグラフである。
【図９】本技術の第１の実施の形態における対数応答画素の一構成例を示す回路図である。
【図１０】本技術の第１の実施の形態におけるカラム信号処理部の一構成例を示すブロック図である。
【図１１】本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。
【図１２】本技術の第１の実施の形態におけるＡＥＲ処理の一例を示すフローチャートである。
【図１３】本技術の第１の実施の形態の第１の変形例における対数応答部の一構成例を示す回路図である。
【図１４】本技術の第１の実施の形態の第１の変形例におけるインバータを追加した対数応答部の一構成例を示す回路図である。
【図１５】本技術の第１の実施の形態の第１の変形例におけるゲート接地型の対数応答部の一構成例を示す回路図である。
【図１６】本技術の第１の実施の形態の第１の変形例における容量を削減した対数応答部の一構成例を示す回路図である。
【図１７】本技術の第１の実施の形態の第２の変形例における対数応答部の一構成例を示す回路図である。
【図１８】本技術の第１の実施の形態の第３の変形例における画素アレイ部の一構成例を示す平面図である。
【図１９】本技術の第１の実施の形態の第３の変形例におけるアドレスイベント検出画素を一列に配列した画素アレイ部の一構成例を示す平面図である。
【図２０】本技術の第１の実施の形態の第３の変形例におけるアドレスイベント検出画素の水平方向および垂直方向のサイズを大きくした画素アレイ部の一構成例を示す平面図である。
【図２１】本技術の第１の実施の形態の第３の変形例におけるアドレスイベント検出画素の垂直方向のサイズを大きくした画素アレイ部の一構成例を示す平面図である。
【図２２】本技術の第２の実施の形態におけるアドレスイベント検出画素の一構成例を示すブロック図である。
【図２３】本技術の第３の実施の形態における対数応答画素の一構成例を示すブロック図である。
【図２４】本技術の第４の実施の形態におけるアドレスイベント検出画素および対数応答画素の一構成例を示すブロック図である。
【図２５】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２６】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２４】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（アドレスイベント検出画素および対数応答画素を配列した例）
２．第２の実施の形態（画素信号も生成するアドレスイベント検出画素と対数応答画素とを配列した例）
３．第３の実施の形態（アドレスイベント検出画素と検出信号とを生成する対数応答画素とを配列した例）
４．第４の実施の形態（アドレスイベント検出回路を共有するアドレスイベント検出画素および対数応答画素を配列した例）
５．移動体への応用例
【００２５】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０および制御部１３０を備える。撮像装置１００としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
【００２６】
撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、画像データを撮像しつつ、アドレスイベントの有無を検出して、その検出結果を生成するものである。ここで、アドレスイベントは、オンイベントおよびオフイベントを含み、検出結果は、１ビットのオンイベントの検出結果と１ビットのオフイベントの検出結果とを含む。オンイベントは、入射光の光量の変化量が所定の上限閾値を超えた旨を意味する。一方、オフイベントは、光量の変化量が所定の下限閾値を下回った旨を意味する。固体撮像素子２００は、アドレスイベントの検出結果を処理し、その処理結果を示すデータと画像データとを記録部１２０に信号線２０９を介して出力する。なお、固体撮像素子２００は、オンイベントおよびオフイベントの一方のみを検出してもよい。
【００２７】
記録部１２０は、固体撮像素子２００からのデータを記録するものである。制御部１３０は、固体撮像素子２００を制御して画像データを撮像させつつ、アドレスイベントの有無を検出させるものである。
【００２８】
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された受光チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ−Ｃｕ接合やバンプにより接続することもできる。
【００２９】
図３は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、駆動回路２１１、検出信号処理部２１２、アービタ２１３、画素アレイ部２１４およびカラム信号処理部２５０を備える。
【００３０】
画素アレイ部２１４には、複数の画素が二次元格子状に配列される。これらのうち一部の画素は、アドレスイベントを検出して、その検出結果を示す検出信号を検出信号処理部２１２に供給する。一方、残りの画素は、入射光の光量の対数値に比例した電圧のアナログの画素信号を生成し、カラム信号処理部２５０へ出力する。
【００３１】
駆動回路２１１は、画素アレイ部２１４内の画素を駆動して、検出信号および画素信号を出力させるものである。
【００３２】
アービタ２１３は、画素アレイ部２１４からのリクエストを調停し、調停結果に基づいて応答を画素アレイ部２１４に送信するものである。
【００３３】
検出信号処理部２１２は、画素アレイ部２１４からの検出信号に対し、画像認識処理などの所定の信号処理を実行するものである。この検出信号処理部２１２は、処理結果を示すデータを信号線２０９を介して記録部１２０に供給する。
【００３４】
カラム信号処理部２５０は、画素アレイ部２１４からの画素信号をデジタル信号に変換するＡＤ（Analog to Digital）変換処理を行うものである。このカラム信号処理部２５０は、ＡＤ変換処理に加えて、ＣＤＳ（Correlated Double Sampling）処理や暗電流補正などの各種の信号処理を必要に応じて行い、処理後のデジタル信号からなる画像データを記録部１２０に供給する。なお、カラム信号処理部２５０は、特許請求の範囲に記載のアナログデジタル変換部の一例である。
【００３５】
［画素アレイ部の構成例］
図４は、本技術の第１の実施の形態における画素アレイ部２１４の一構成例を示す平面図である。この画素アレイ部２１４には、Ｎ（Ｎは、整数）個のアドレスイベント検出画素４００と、Ｎ個の対数応答画素３００とが配列される。例えば、チェッカーパターンにおける黒および白の一方にアドレスイベント検出画素４００が配置され、他方に対数応答画素３００が配置される。なお、画素の配列パターンは、チェッカーパターンに限定されない。
【００３６】
アドレスイベント検出画素４００は、アドレスイベントの有無を検出して、その検出結果を示す検出信号を検出信号処理部２１２に供給するものである。
【００３７】
対数応答画素３００は、入射光の光量の対数値に比例した電圧のアナログの画素信号を生成し、カラム信号処理部２５０へ出力するものである。
【００３８】
駆動回路２１１は、アドレスイベント検出画素４００および対数応答画素３００を駆動する。また、対数応答画素３００を駆動する際に駆動回路２１１は、例えば、垂直同期信号に同期して対数応答画素３００を駆動する。ここで、垂直同期信号は、画像データの撮像タイミングを示す所定周波数（３０ヘルツなど）の信号である。
【００３９】
アドレスイベント検出画素４００および対数応答画素３００を配列することにより、固体撮像素子２００は、ＤＶＳ機能を実現しつつ、光量の対数値に応じた画素値からなる画像データを撮像することができる。アドレスイベント検出画素４００のみを配列したＤＶＳと、対数応答画素３００のみを配列した固体撮像素子とを別々に実装することも考えられるが、この構成は好ましくない。回路規模の増大やコストの上昇が生じるほか、２つの固体撮像素子の実装位置の差により、ＤＶＳにより得られたデータと、固体撮像素子により得られたデータとにずれが生じてしまうためである。
【００４０】
［アドレスイベント検出画素の構成例］
図５は、本技術の第１の実施の形態におけるアドレスイベント検出画素４００の一構成例を示すブロック図である。このアドレスイベント検出画素４００は、対数応答部４１０、アドレスイベント検出回路４６０および転送部４５０を備える。
【００４１】
対数応答部４１０は、光電流を、その光電流の対数値に比例した画素電圧Ｖｐに変換するものである。この対数応答部４１０は、画素電圧Ｖｐをアドレスイベント検出回路４６０に供給する。
【００４２】
アドレスイベント検出回路４６０は、画素電圧Ｖｐの変化量が所定の閾値（上限閾値や下限閾値）を超えるか否かを検出するものである。このアドレスイベント検出回路４６０は、バッファ４２０、微分回路４３０およびコンパレータ４４０を備える。
【００４３】
バッファ４２０は、対数応答部４１０からの画素電圧Ｖｐを微分回路４３０に出力するものである。このバッファ４２０により、後段を駆動する駆動力を向上させることができる。また、バッファ４２０により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
【００４４】
微分回路４３０は、微分演算により画素電圧Ｖｐの変化量を求めるものである。この画素電圧Ｖｐの変化量は、光量の変化量を示す。微分回路４３０は、光量の変化量を示す微分信号Ｖｏｕｔをコンパレータ４４０に供給する。
【００４５】
コンパレータ４４０は、微分信号Ｖｏｕｔと所定の閾値（上限閾値や下限閾値）とを比較するものである。このコンパレータ４４０の比較結果ＣＯＭＰは、アドレスイベントの検出結果を示す。コンパレータ４４０は、比較結果ＣＯＭＰを転送部４５０に供給する。
【００４６】
転送部４５０は、検出信号ＤＥＴを転送し、転送後にオートゼロ信号ＸＡＺを微分回路４３０に供給して初期化するものである。この転送部４５０は、アドレスイベントが検出された際に、検出信号ＤＥＴの転送を要求するリクエストをアービタ２１３に供給する。そして、リクエストに対する応答を受け取ると転送部４５０は、比較結果ＣＯＭＰを検出信号ＤＥＴとして検出信号処理部２１２に供給し、オートゼロ信号ＸＡＺを微分回路４３０に供給する。
【００４７】
［アドレスイベント検出回路の構成例］
図６は、本技術の第１の実施の形態におけるアドレスイベント検出回路４６０の一構成例を示す回路図である。
【００４８】
対数応答部４１０は、光電変換素子４１１と電流電圧変換部４１６とを備える。光電変換素子４１１は、入射光に対する光電変換により光電流を生成するものである。電流電圧変換部４１６は、光電流を画素電圧Ｖｐに対数的に変換するものである。この電流電圧変換部４１６は、Ｎ型トランジスタ４１２および４１５と、容量４１３と、Ｐ型トランジスタ４１４とを備える。Ｎ型トランジスタ４１２、Ｐ型トランジスタ４１４およびＮ型トランジスタ４１５として、例えば、ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。
【００４９】
Ｎ型トランジスタ４１２のソースは光電変換素子４１１のカソードに接続され、ドレインは電源端子に接続される。Ｐ型トランジスタ４１４およびＮ型トランジスタ４１５は、電源端子と所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。また、Ｐ型トランジスタ４１４およびＮ型トランジスタ４１５の接続点は、Ｎ型トランジスタ４１２のゲートとバッファ４２０の入力端子とに接続される。Ｎ型トランジスタ４１２および光電変換素子４１１の接続点は、Ｎ型トランジスタ４１５のゲートに接続される。
【００５０】
また、Ｐ型トランジスタ４１４のゲートには、所定のバイアス電圧Ｖｂｌｏｇが印加される。容量４１３は、Ｎ型トランジスタ４１２のゲートとＮ型トランジスタ４１５のゲートとの間に挿入される。
【００５１】
また、例えば、光電変換素子４１１が受光チップ２０１に配置され、その後段の回路が回路チップ２０２に配置される。なお、受光チップ２０１および回路チップ２０２のそれぞれに配置する回路や素子は、この構成に限定されない。例えば、光電変換素子４１１と、Ｎ型トランジスタ４１２および４１５と、容量４１３とを受光チップ２０１に配置し、その後段の回路を回路チップ２０２に配置することもできる。
【００５２】
バッファ４２０は、Ｐ型トランジスタ４２１および４２２を備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。
【００５３】
バッファ４２０において、Ｐ型トランジスタ４２１および４２２は、電源端子と基準電位の端子との間において直列に接続される。また、Ｐ型トランジスタ４２２のゲートは、対数応答部４１０に接続され、Ｐ型トランジスタ４２１および４２２の接続点は、微分回路４３０に接続される。Ｐ型トランジスタ４２１のゲートには、所定のバイアス電圧Ｖｂｓｆが印加される。
【００５４】
微分回路４３０は、容量４３１および４３４と、Ｐ型トランジスタ４３２および４３３と、Ｎ型トランジスタ４３５とを備える。微分回路４３０内のトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。
【００５５】
Ｐ型トランジスタ４３３およびＮ型トランジスタ４３５は、電源端子と基準電位の端子との間において直列に接続される。Ｎ型トランジスタ４３５のゲートには、所定のバイアス電圧Ｖｂｄｉｆｆが入力される。これらのトランジスタは、Ｐ型トランジスタ４３３のゲートを入力端子４９１とし、Ｐ型トランジスタ４３３およびＮ型トランジスタ４３５の接続点を出力端子４９２とする反転回路として機能する。
【００５６】
容量４３１は、バッファ４２０と入力端子４９１との間に挿入される。この容量４３１は、バッファ４２０からの画素電圧Ｖｐの時間微分（言い換えれば、変化量）に応じた電流を入力端子４９１に供給する。また、容量４３４は、入力端子４９１と出力端子４９２との間に挿入される。
【００５７】
Ｐ型トランジスタ４３２は、転送部４５０からのオートゼロ信号ＸＡＺに従って入力端子４９１と出力端子４９２との間の経路を開閉するものである。例えば、ローレベルのオートゼロ信号ＸＡＺが入力されるとＰ型トランジスタ４３２は、オートゼロ信号ＸＡＺに従ってオン状態に移行し、微分信号Ｖｏｕｔを初期値にする。
【００５８】
コンパレータ４４０は、Ｐ型トランジスタ４４１および４４３とＮ型トランジスタ４４２および４４４とを備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。
【００５９】
コンパレータ４４０においてＰ型トランジスタ４４１およびＮ型トランジスタ４４２は、電源端子と基準端子との間において直列に接続され、Ｐ型トランジスタ４４３およびＮ型トランジスタ４４４も、電源端子と基準端子との間において直列に接続される。また、Ｐ型トランジスタ４４１および４４３のゲートは、微分回路４３０に接続される。Ｎ型トランジスタ４４２のゲートには上限閾値を示す上限電圧Ｖｈｉｇｈが印加され、Ｎ型トランジスタ４４４のゲートには下限閾値を示す下限電圧Ｖｌｏｗが印加される。
【００６０】
Ｐ型トランジスタ４４１およびＮ型トランジスタ４４２の接続点は、転送部４５０に接続され、この接続点の電圧が上限閾値との比較結果ＣＯＭＰ＋として出力される。Ｐ型トランジスタ４４３およびＮ型トランジスタ４４４の接続点も、転送部４５０に接続され、この接続点の電圧が下限閾値との比較結果ＣＯＭＰ−として出力される。このような接続により、微分信号Ｖｏｕｔが上限電圧Ｖｈｉｇｈより高い場合にコンパレータ４４０は、ハイレベルの比較結果ＣＯＭＰ＋を出力し、微分信号Ｖｏｕｔが下限電圧Ｖｌｏｗより低い場合にローレベルの比較結果ＣＯＭＰ−を出力する。比較結果ＣＯＭＰは、これらの比較結果ＣＯＭＰ＋およびＣＯＭＰ−からなる信号である。
【００６１】
なお、コンパレータ４４０は、上限閾値および下限閾値の両方を、微分信号Ｖｏｕｔと比較しているが、一方のみを微分信号Ｖｏｕｔと比較してもよい。この場合には、不要なトランジスタを削減することができる。例えば、上限閾値とのみ比較する際には、Ｐ型トランジスタ４４１およびＮ型トランジスタ４４２のみが配置される。
【００６２】
また、微分回路４３０に容量４３４を配置しているが、図７に例示するように容量４３４を削減することができる。
【００６３】
図８は、本技術の第１の実施の形態における光量に対する画素電圧Ｖｐの一例を示すグラフである。同図における縦軸は、画素電圧Ｖｐを示し、横軸は入射光の光量を示す。同図に例示するように、対数応答部４１０は、光量の対数値に比例した画素電圧Ｖｐを出力する。これにより、光量が多い（すなわち、明るい）ときに、画素電圧Ｖｐを変換したデジタル信号がオーバーフローすることを抑制することができる。オーバーフローの抑制により、画像データのダイナミックレンジの拡大が容易となり、画像データの画質を向上させることができる。
【００６４】
［対数応答画素の構成例］
図９は、本技術の第１の実施の形態における対数応答画素３００の一構成例を示す回路図である。この対数応答画素３００は、対数応答部３１０および対数値読出し回路３３０を備える。対数応答部３１０は、光電変換素子３１１と電流電圧変換部３２０とを備える。電流電圧変換部３２０は、Ｎ型トランジスタ３２１および３２４と、容量３２２とＰ型トランジスタ３２３とを備える。同図における電流電圧変換部３２０内の各素子の接続構成は、図６に例示した電流電圧変換部４１６内の対応する素子の接続構成と同様である。なお、Ｎ型トランジスタ３２１は、特許請求の範囲に記載の第１のＮ型トランジスタの一例であり、Ｎ型トランジスタ３２４は、特許請求の範囲に記載の第２のＮ型トランジスタの一例である。
【００６５】
対数値読出し回路３３０は、画素電圧Ｖｐを増幅し、アナログの画素信号Ｖｉｎとして出力するものである。この対数読出し回路３３０は、増幅トランジスタ３３１および選択トランジスタ３３２を備える。これらのトランジスタとして、例えば、Ｎ型のＭＯＳトランジスタが用いられる。
【００６６】
増幅トランジスタ３３１は、画素電圧Ｖｐを増幅し、画素信号Ｖｉｎとして選択トランジスタ３３２に供給するものである。選択トランジスタ３３２は、駆動回路２１１からの選択信号ＳＥＬに従って画素信号Ｖｉｎをカラム信号処理部２５０に垂直信号線ＶＳＬを介して供給するものである。垂直信号線ＶＳＬは、画素アレイ部２１４内において列方向に沿って列ごとに配線される。
【００６７】
［カラム信号処理部の構成例］
図１０は、本技術の第１の実施の形態におけるカラム信号処理部２５０の一構成例を示すブロック図である。このカラム信号処理部２５０は、複数のＡＤ変換器２５１と、複数のメモリ２５２と、出力部２５３と、デジタル演算部２５４と、インターフェース部２５５とを備える。ＡＤ変換器２５１およびメモリ２５２は、列ごとに配置される。列数をＹ（Ｙは、整数）とすると、ＡＤ変換器２５１およびメモリ２５２は、Ｙ個ずつ配置される。
【００６８】
ＡＤ変換器２５１は、対応する列のアナログの画素信号Ｖｉｎに対してＡＤ変換処理およびＣＤＳ処理を行うものである。このＡＤ変換器２５１は、処理後のデジタル信号Ｄｏｕｔを、対応するメモリ２５２に保持させる。なお、ＡＤ変換器２５１はＡＤ変換処理のみを行い、後段の回路がＣＤＳ処理を行う構成であってもよい。
【００６９】
メモリ２５２は、デジタル信号Ｄｏｕｔを保持するものである。出力部２５３は、メモリ２５２に保持されたデジタル信号Ｄｏｕｔを順に読み出してデジタル演算部２５４に出力するものである。
【００７０】
デジタル演算部２５４は、デジタル信号Ｄｏｕｔに対して、暗電流補正処理やデモザイク処理などの所定の信号処理を行うものである。このデジタル演算部２５４は、処理後の画素信号からなる画像データをインターフェース部２５５に供給する。
【００７１】
インターフェース部２５５は、デジタル演算部２５４からの画像データを記録部１２０に出力するものである。
【００７２】
［固体撮像素子の動作例］
図１１は、本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。この撮像処理は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
【００７３】
固体撮像素子２００内の駆動回路２１１は、垂直同期信号ＶＳＹＮＣの立下りのタイミングであるか否かを判断する（ステップＳ９０１）。ＶＳＹＮＣの立下りのタイミングである場合に（ステップＳ９０１：Ｙｅｓ）、駆動回路２１１は、いずれかの行を選択して駆動する（ステップＳ９０２）。カラム信号処理部２５０は、選択された行からの画素信号をＡＤ変換する（ステップＳ９０３）。
【００７４】
駆動回路２１１は、全行のＡＤ変換（すなわち、読出し）が完了したか否かを判断する（ステップＳ９０４）。全行の読出しが完了していない場合に（ステップＳ９０４：Ｎｏ）、駆動回路２１１は、ステップＳ９０２以降を繰り返す。
【００７５】
一方、全行の読出しが完了した場合に（ステップＳ９０４：Ｙｅｓ）、固体撮像素子２００は、ステップＳ９０１以降を繰り返し実行する。
【００７６】
図１２は、本技術の第１の実施の形態におけるＡＥＲ（Address Event Representation）処理の一例を示すフローチャートである。この動作は、例えば、アドレスイベントを検出するための所定のアプリケーションが実行された際に開始される。
【００７７】
駆動回路２１１は、全てのアドレスイベント検出画素４００内の微分回路４３０を初期化する（ステップＳ９１１）。そして、対数応答部４１０は、光電流を画素電圧Ｖｐに変換する（ステップＳ９１２）。微分回路４３０は、画素電圧Ｖｐの変化量に応じた微分信号Ｖｏｕｔを出力する（ステップＳ９１３）。
【００７８】
コンパレータ４４０は、微分信号Ｖｏｕｔ（変化量）が、上限閾値を超えるか否かを判断する（ステップＳ９１４）。変化量が上限閾値を超える場合に（ステップＳ９１４：Ｙｅｓ）、アドレスイベント検出画素４００はオンイベントを検出する（ステップＳ９１５）。
【００７９】
変化量が上限閾値以下の場合に（ステップＳ９１４：Ｎｏ）、コンパレータ４４０は、変化量が、下限閾値を下回るか否かを判断する（ステップＳ９１７）。変化量が下限閾値を下回る場合に（ステップＳ９１７：Ｙｅｓ）、アドレスイベント検出画素４００はオフイベントを検出する（ステップＳ９１８）。
【００８０】
変化量が下限閾値以上の場合に（ステップＳ９１７：Ｎｏ）、アドレスイベント検出画素４００はステップＳ９１２以降を繰り返す。また、ステップＳ９１５およびＳ９１６の後に転送部４５０は、検出信号を転送する（ステップＳ９１６）。ステップＳ９１６の後に、固体撮像素子２００は、ステップＳ９１１以降を繰り返し実行する。２回目以降の微分回路４３０の初期化は、転送部４５０により実行される。
【００８１】
図１１および図１２に例示した撮像処理およびＡＥＲ処理は、例えば、並列に実行される。なお、固体撮像素子２００は、撮像処理およびＡＥＲ処理の一方のみを実行することもできる。
【００８２】
このように、本技術の第１の実施の形態によれば、アドレスイベント検出画素４００が検出信号を出力しつつ、対数応答画素３００が画素信号を出力するため、アドレスイベントの有無の検出と撮像とを行うことができる。この構成では、検出信号を出力するアドレスイベント検出回路４００と画素信号を出力する対数値読出し回路３３０との一方が一部の画素（アドレスイベント検出画素４００になど）に配置され、他方が残りの画素（対数応答画素３００など）に配置される。これにより、アドレスイベント検出回路４００と、対数値読出し回路３３０との両方を画素毎に配置する場合と比較して画素当たりの回路規模を削減することができる。
【００８３】
［第１の変形例］
上述の第１の実施の形態では、３つのトランジスタと容量とからなる対数応答部３１０を画素ごとに配置していたが、画素数が多くなるほど画素アレイ部２１４の回路規模が増大してしまう。この第１の実施の形態の第１の変形例の固体撮像素子２００は、対数応答部３１０の素子数を削減した点において第１の実施の形態と異なる。
【００８４】
図１３は、本技術の第１の実施の形態の第１の変形例における対数応答部３１０の一構成例を示す回路図である。この第１の変形例の対数応答部３１０は、電流電圧変換部３２０内にＮ型トランジスタ３２１のみを配置した点において第１の実施の形態と異なる。
【００８５】
同図においてＮ型トランジスタ３２１のドレインおよびゲートは、電源端子に接続される。また、Ｎ型トランジスタ３２１および光電変換素子３１１の接続点は、対数値読出し回路３３０に接続され、この端子の電圧が画素電圧Ｖｐとして供給される。この構成により、容量３２２、Ｐ型トランジスタ３２３およびＮ型トランジスタ３２４を削減することができる。アドレスイベント検出画素４００内の対数応答部４１０の構成は、対数応答画素３００内の対数応答部３１０と同様である。
【００８６】
ただし、第１の実施の形態では、光量に応じた光電流の増大に伴って画素電圧Ｖｐが上昇していたのに対し、同図における第１の実施の形態の変形例では、光電流の増大に伴って画素電圧Ｖｐが低下する。
【００８７】
なお、第１の実施の形態と同様に、光電流の増大に伴って画素電圧Ｖｐを上昇させたい場合には、図１４に例示するようにインバータ３２５を追加すればよい。この構成においてインバータ３２５をＮ型トランジスタおよびＰ型トランジスタから構成する際はトランジスタ数が第１の実施の形態と変わらないが、容量３２２を削減することができる。
【００８８】
また、図１５に例示するように、容量３２２を削減し、Ｎ型トランジスタ３２１の代わりにＰ型トランジスタ３２６を配置することもできる。Ｐ型トランジスタとして、例えば、ＭＯＳトランジスタが用いられる。このＰ型トランジスタ３２６は、光電変換素子３１１と、Ｐ型トランジスタ３２３およびＮ型トランジスタ３２４の接続点との間に挿入される。また、Ｐ型トランジスタ３２３のゲートにバイアス電圧Ｖｂｌｏｇ１が印加され、Ｐ型トランジスタ３２６のゲートにバイアス電圧Ｖｂｌｏｇ２が印加される。
【００８９】
なお、Ｐ型トランジスタ３２３は、特許請求の範囲に記載の第１のＰ型トランジスタの一例であり、Ｐ型トランジスタ３２６は、特許請求の範囲に記載の第２のＰ型トランジスタの一例である。
【００９０】
また、図１６に例示するように、第１の実施の形態と同様にＮ型トランジスタ３２１および３２４をループ状に接続し、容量３２２のみを削減することもできる。
【００９１】
このように、本技術の第１の実施の形態の第１の変形例によれば、画素毎に対数応答部３１０の素子数を削減したため、画素アレイ部２１４の回路規模を削減することができる。
【００９２】
［第２の変形例］
上述の第１の実施の形態では、ループ状に接続されたＮ型トランジスタ３２１および３２４からなるループ回路により光電流を所定の変換ゲインで電圧に変換していたが、１段のループ回路のみでは変換ゲインが不足するおそれがある。この第１の実施の形態の第２の変形例の対数応答部３１０は、ループ回路を２段にして、変換ゲインを向上させた点において第１の実施の形態と異なる。
【００９３】
図１７は、本技術の第１の実施の形態の第２の変形例における対数応答部３１０の一構成例を示す回路図である。この第２の変形例の対数応答部３１０は、電流電圧変換部３２０内にＮ型トランジスタ３２７および３２８をさらに設けた点において第１の実施の形態と異なる。Ｎ型トランジスタ３２７および３２８として、例えば、ＭＯＳトランジスタが用いられる。
【００９４】
Ｎ型トランジスタ３２１および３２７は、電源端子と光電変換素子３１１との間において直列に接続される。一方、Ｐ型トランジスタ３２３、Ｎ型トランジスタ３２８およびＮ型トランジスタ３２４は、電源端子と基準端子との間において直列に接続される。
【００９５】
また、Ｎ型トランジスタ３２１のゲートは、Ｎ型トランジスタ３２４および３２８の接続点に接続される。Ｎ型トランジスタ３２７のゲートは、Ｐ型トランジスタ３２３およびＮ型トランジスタ３２８の接続点に接続され、この接続点から画素電圧Ｖｐが出力される。Ｎ型トランジスタ３２４のゲートは、光電変換素子３１１およびＮ型トランジスタ３２１の接続点に接続される。Ｎ型トランジスタ３２８のゲートは、Ｎ型トランジスタ３２１および３２７の接続点に接続される。
【００９６】
上述の接続構成により、Ｎ型トランジスタ３２１および３２４のループ回路と、Ｎ型トランジスタ３２７および３２８のループ回路とからなる２段のループ回路が構成される。ループ回路を２段とすることにより、１段の場合よりも変換ゲインが向上する。
【００９７】
このように本技術の第１の実施の形態の第２の変形例によれば、２段のループ回路を電流電圧変換部３２０内に設けたため、１段のループ回路を設ける場合よりも変換ゲインを向上させることができる。
【００９８】
［第３の変形例］
上述の第１の実施の形態では、アドレスイベント検出画素４００と同じ画素数の対数応答画素３００を配置していたが、高画質の画像データが要求される場合には、対数応答画素３００の画素数が不足するおそれがある。この第１の実施の形態の第３の変形例の固体撮像素子２００は、対数応答画素３００の画素数をアドレスイベント検出画素４００より多くした点において第１の実施の形態と異なる。
【００９９】
図１８は、本技術の第１の実施の形態の第３の変形例における画素アレイ部２１４の一構成例を示す平面図である。この第３の変形例の画素アレイ部２１４は、対数応答画素３００の画素数がアドレスイベント検出画素４００より多い点において第１の実施の形態と異なる。例えば、アドレスイベント検出画素４００の画素数をＭ（Ｍは、整数）個として、３×Ｍ個の対数応答画素３００が配置される。また、水平方向および垂直方向においてアドレスイベント検出画素４００は、１画素おきに配置される。同図における「Ｄ」は、ＤＶＳ機能を実現するためのアドレスイベント検出画素４００を示す。また、「Ｌ」は、対数応答画素３００を示す。
【０１００】
また、例えば、アドレスイベント検出画素４００の座標を（ｘ、ｙ）とすると、（ｘ、ｙ＋１）、（ｘ＋１、ｙ）および（ｘ＋１、ｙ＋１）の座標に、Ｒ（Red）画素、Ｇ(Green)画素およびＢ(Blue)画素が対数応答画素３００として配置される。
【０１０１】
なお、水平方向および垂直方向においてアドレスイベント検出画素４００を１画素おきに配置しているが、対数応答画素３００の画素数がアドレスイベント検出画素４００より多いものであれば、この配列パターンに限定されない。例えば、図１９に例示するように、垂直方向に沿って一列にアドレスイベント検出画素４００を配列し、対数応答画素３００を二次元格子状に配列することもできる。同図において、アドレスイベント検出画素４００の列数は、１列に限定されず、２列以上であってもよい。また、水平方向に沿ってアドレスイベント検出画素４００を配列することもできる。
【０１０２】
また、アドレスイベント検出画素４００の画素サイズを対数応答画素３００と同一としているが、この構成に限定されない。アドレスイベント検出画素４００の回路規模は、対数応答画素３００より大きいため、アドレスイベント検出画素４００の画素サイズを対数応答画素３００より大きくすることが望ましい。例えば、図２０に例示するように、水平方向および垂直方向において、アドレスイベント検出画素４００の画素サイズを対数応答画素３００より大きくすることができる。また、図２１に例示するように、垂直方向のみにおいて、アドレスイベント検出画素４００の画素サイズを対数応答画素３００より大きくすることができる。
【０１０３】
このように、本技術の第１の実施の形態の第３の変形例によれば、対数応答画素３００の画素数をアドレスイベント検出画素４００より多くしたため、それらの画素数が同一の場合と比較して画像データの画素数を多くし、その画質を向上させることができる。
【０１０４】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、対数応答画素３００のみが、光量の対数値に応じた画素信号を生成していた。しかし、高画質の画像データが要求される場合には、画素信号の数が不足するおそれがある。この第２の実施の形態の固体撮像素子２００は、対数応答画素３００に加えて、アドレスイベント検出画素４００も画素信号を生成する点において第１の実施の形態と異なる。
【０１０５】
図２２は、本技術の第２の実施の形態におけるアドレスイベント検出画素４００の一構成例を示すブロック図である。この第２の実施の形態のアドレスイベント検出画素４００は、対数値読出し回路４７０をさらに備える点において第１の実施の形態と異なる。
【０１０６】
対数値読出し回路４７０には、増幅トランジスタ４７１および選択トランジスタ４７２が設けられる。アドレスイベント検出画素４００内に追加された対数値読出し回路４７０の回路構成は、対数応答画素３００内の対数値読出し回路３３０と同様である。対数値読出し回路４７０の追加により、アドレスイベント検出画素４００も光量の対数値に応じた画素信号を生成することができる。
【０１０７】
なお、第２の実施の形態の固体撮像素子に第１乃至第３の変形例のそれぞれを適用することもできる。
【０１０８】
このように、本技術の第２の実施の形態によれば、対数応答画素３００に加えて、アドレスイベント検出画素４００も画素信号を生成するため、対数応答画素３００のみが画素信号を生成する場合よりも画素信号の数を増やすことができる。これにより、画像データの画質を向上させることができる。
【０１０９】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、アドレスイベント検出画素４００のみがアドレスイベントの有無を検出し、検出信号を生成していた。しかし、画像認識の認識精度などの向上が要求される場合には、検出信号の数が不足するおそれがある。この第３の実施の形態の固体撮像素子２００は、アドレスイベント検出画素４００に加えて、対数応答画素３００も検出信号を生成する点において第１の実施の形態と異なる。
【０１１０】
図２３は、本技術の第３の実施の形態における対数応答画素３００の一構成例を示すブロック図である。この第３の実施の形態の対数応答画素３００は、アドレスイベント検出回路３５０および転送部３６０をさらに備える点において第１の実施の形態と異なる。
【０１１１】
対数応答画素３００内に追加されたアドレスイベント検出回路３５０および転送部３６０の構成は、アドレスイベント検出画素４００内のアドレスイベント検出回路４６０および転送部４５０と同様である。アドレスイベント検出回路３５０および転送部３６０の追加により、対数応答画素３００もアドレスイベントの有無を検出して検出信号を生成することができる。
【０１１２】
なお、第３の実施の形態の固体撮像素子に第１乃至第３の変形例のそれぞれを適用することもできる。
【０１１３】
このように、本技術の第３の実施の形態によれば、アドレスイベント検出画素４００に加えて、対数応答画素３００も検出信号を生成するため、アドレスイベント検出画素４００のみが検出信号を生成する場合よりも検出信号の数を増やすことができる。これにより、画像認識の認識精度などを向上させることができる。
【０１１４】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、アドレスイベント検出画素４００のみがアドレスイベントの有無を検出し、検出信号を生成していた。しかし、画像認識の認識精度などの向上が要求される場合には、検出信号の数が不足するおそれがある。この第４の実施の形態の固体撮像素子２００は、アドレスイベント検出回路４６０をアドレスイベント検出画素４００および対数応答画素３００が共有する点において第１の実施の形態と異なる。
【０１１５】
図２４は、本技術の第４の実施の形態におけるアドレスイベント検出画素４００および対数応答画素３００の一構成例を示すブロック図である。この第４の実施の形態のアドレスイベント検出画素４００は、スイッチ４８１がさらに設けられる点において第１の実施の形態と異なる。また、第４の実施の形態の対数応答画素３００は、スイッチ３７１がさらに設けられる点において第１の実施の形態と異なる。
【０１１６】
スイッチ４８１は、アドレスイベント検出画素４００内の対数応答部４１０の出力端子と、アドレスイベント検出回路４６０の入力端子との間の経路を駆動回路２１１からの切替信号ＳＷＤに従って開閉するものである。スイッチ３７１は、対数応答画素３００内の対数応答部３１０の出力端子と、アドレスイベント検出回路４６０の入力端子との間の経路を駆動回路２１１からの切替信号ＳＷＬに従って開閉するものである。
【０１１７】
駆動回路２１１は、切替信号ＳＷＤおよびＳＷＬにより、スイッチ４８１および３７１の一方を開状態に他方を閉状態に制御する。そして、駆動回路２１１は、一定時間ごとに開状態にする方のスイッチを切り替える。これにより、アドレスイベント検出画素４００および対数応答画素３００の一方の画素電圧Ｖｐがアドレスイベント検出回路４６０に入力される。アドレスイベント検出回路４６０は、その画素電圧Ｖｐの変化量と閾値とを比較してアドレスイベントの有無を検出する。
【０１１８】
なお、第４の実施の形態の固体撮像素子に第１乃至第３の変形例のそれぞれを適用することもできる。
【０１１９】
このように、本技術の第４の実施鵜の形態によれば、アドレスイベント検出画素４００および対数応答画素３００がアドレスイベント検出回路４６０を共有するため、対数応答画素３００の画素電圧Ｖｐからも検出信号を生成することができる。これにより、アドレスイベント検出画素４００の画素電圧Ｖｐのみから検出信号を生成する場合と比較して検出信号の数を増やして、画像認識の認識精度などを向上させることができる。
【０１２０】
＜５．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１２１】
図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１２２】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
【０１２３】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１２４】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１２５】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１２６】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１２７】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１２８】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【０１２９】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３０】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１３１】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１３２】
図２６は、撮像部１２０３１の設置位置の例を示す図である。
【０１３３】
図２６では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１３４】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１３５】
なお、図２６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１３６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１３７】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１３８】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１３９】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１４０】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、アドレスイベントを検出しつつ、高画質の画像データを撮像することができる。
【０１４１】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４２】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１４３】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１４４】
なお、本技術は以下のような構成もとることができる。
（１）入射された光量の対数値に比例したアナログ信号を出力する対数応答画素と入射された光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号を出力する検出画素とを配列した画素アレイ部と、
前記対数応答画素および前記検出画素を駆動して前記アナログ信号および前記検出信号を出力させる駆動回路と
を具備する固体撮像素子。
（２）前記対数応答画素は、
光電変換により光電流を生成する光電変換素子と、
前記光電流を当該光電流の対数値に比例した電圧に変換する電流電圧変換部と、
前記電圧を増幅して前記アナログ信号として出力する対数値読出し回路と
を備える前記（１）記載の固体撮像素子。
（３）前記電流電圧変換部は、前記光電変換素子にソースが接続され、所定の電源端子にゲートおよびドレインが接続されたＮ型トランジスタを備え、
前記光電変換素子および前記Ｎ型トランジスタの接続点が前記対数値読出し回路に接続される
前記（２）記載の固体撮像素子。
（４）前記電流電圧変換部は、
前記対数値読出し回路にゲートが接続され、前記光電変換素子にソースが接続され、所定の電源端子にドレインが接続されたＮ型トランジスタと、
前記Ｎ型トランジスタおよび前記光電変換素子の接続点の電位を反転して前記ゲートに出力するインバータと
を備える前記（２）記載の固体撮像素子。
（５）前記電流電圧変換部は、
電源端子と基準端子との間に直列に接続されたＮ型トランジスタおよび第１のＰ型トランジスタと、
前記Ｎ型トランジスタおよび前記第１のＰ型トランジスタの接続点と前記光電変換素子との間に挿入された第２のＰ型トランジスタと
を備える前記（２）記載の固体撮像素子。
（６）前記電流電圧変換部には、２段のループ回路が設けられ、
前記ループ回路のそれぞれは、ループ状に接続された一対のＮ型トランジスタを備える
前記（２）記載の固体撮像素子。
（７）前記電流電圧変換部は、
前記対数値読出し回路にゲートが接続され、前記光電変換素子にソースが接続され、所定の電源端子にドレインが接続された第１のＮ型トランジスタと、
前記第１のＮ型トランジスタと前記光電変換素子との接続点にゲートが接続され、ドレインが所定の基準端子に接続された第２のＮ型トランジスタと、
前記第２のＮ型トランジスタと電源端子との間に挿入されたＰ型トランジスタと
を備える前記（２）記載の固体撮像素子。
（８）前記電流電圧変換部は、前記第１のＮ型トランジスタのゲートと前記第２のＮ型トランジスタのゲートとの間に挿入された容量をさらに備える
前記（７）記載の固体撮像素子。
（９）前記画素アレイ部には、所定数の前記検出画素と前記所定数の前記対数応答画素とが配列される
前記（１）から（８）のいずれかに記載の固体撮像素子。
（１０）前記画素アレイ部には、所定数の前記検出画素と前記所定数より多い画素数の前記対数応答画素とが配列される
前記（１）から（８）のいずれかに記載の固体撮像素子。
（１１）前記検出画素は、所定の方向と前記所定の方向に垂直な方向とにおいて１画素おきに配列される
前記（１０）記載の固体撮像素子。
（１２）前記対数応答画素は、二次元格子状に配列され、
前記検出画素は、所定方向に沿って配列される
前記（１０）記載の固体撮像素子。
（１３）前記検出画素のサイズは、前記対数応答画素よりも大きい
前記（１０）乃至（１２）のいずれかに記載の固体撮像素子。
（１４）前記検出画素は、前記光量の対数値に比例したアナログ信号をさらに出力する
前記（１）から（１３）のいずれかに記載の固体撮像素子。
（１５）前記対数応答画素は、前記光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号をさらに出力する
前記（１）から（１３）のいずれかに記載の固体撮像素子。
（１６）前記対数応答画素は、
光電流を当該光電流の対数値に比例した第１の電圧に変換する第１の対数応答部と、
前記第１の電圧を増幅して前記アナログ信号として出力する第１の対数値読出し回路と
を備え、
前記検出画素は、
光電流を当該光電流の対数値に比例した第２の電圧に変換する第２の対数応答部と、
前記第１および第２の電圧の一方の変化量が前記閾値を超えたか否かを検出して前記検出信号を出力する検出回路と
を備える前記（１）から（１３）のいずれかに記載の固体撮像素子。
（１７）入射された光量の対数値に比例したアナログ信号を出力する対数応答画素と入射された光量の変化量が所定の閾値を超えたか否かを検出して当該検出結果を示す検出信号を出力する検出画素とを配列した画素アレイ部と、
前記対数応答画素および前記検出画素を駆動して前記アナログ信号および前記検出信号を出力させる駆動回路と、
前記アナログ信号をデジタル信号に変換するアナログデジタル変換部と
を具備する撮像装置。
【符号の説明】
【０１４５】
１００  撮像装置
１１０  撮像レンズ
１２０  記録部
１３０  制御部
２００  固体撮像素子
２０１  受光チップ
２０１  回路チップ
２１１  駆動回路
２１２  検出信号処理部
２１３  アービタ
２１４  画素アレイ部
２５０  カラム信号処理部
２５１  ＡＤ変換器
２５２  メモリ
２５３  出力部
２５４  デジタル演算部
２５５  インターフェース部
３００  対数応答画素
３１０  対数応答部
３１１、４１１  光電変換素子
３２０、４１６  電流電圧変換部
３２１、３２４、３２７、３２８、４１２、４１５、４３５、４４２、４４４  Ｎ型トランジスタ
３２２、４１３、４３１、４３４  容量
３２３、３２６、４１４、４２１、４２２、４３２、４３３、４４１、４４３  Ｐ型トランジスタ
３２５  インバータ
３３０、４７０  対数値読出し回路
３３１、４７１  増幅トランジスタ
３３２、４７２  選択トランジスタ
３５０、４６０  アドレスイベント検出回路
３６０、４５０  転送部
３７１、４８１  スイッチ
４００  アドレスイベント検出画素
４１０  対数応答部
４２０  バッファ
４３０  微分回路
４４０  コンパレータ
１２０３１  撮像部
【図１】
2020088722.tif 000003
【図２】
2020088722.tif 000004
【図３】
2020088722.tif 000005
【図４】
2020088722.tif 000006
【図５】
2020088722.tif 000007
【図６】
2020088722.tif 000008
【図７】
2020088722.tif 000009
【図８】
2020088722.tif 000010
【図９】
2020088722.tif 000011
【図１０】
2020088722.tif 000012
【図１１】
2020088722.tif 000013
【図１２】
2020088722.tif 000014
【図１３】
2020088722.tif 000015
【図１４】
2020088722.tif 000016
【図１５】
2020088722.tif 000017
【図１６】
2020088722.tif 000018
【図１７】
2020088722.tif 000019
【図１８】
2020088722.tif 000020
【図１９】
2020088722.tif 000021
【図２０】
2020088722.tif 000022
【図２１】
2020088722.tif 000023
【図２２】
2020088722.tif 000024
【図２３】
2020088722.tif 000025
【図２４】
2020088722.tif 000026
【図２５】
2020088722.tif 000027
【図２６】
2020088722.tif 000028