(57)【要約】【課題】固体撮像素子からの画素信号の読み出しに必要なバス帯域や消費電力を抑制する。【解決手段】固体撮像素子は、画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行う。本技術は、例えば、撮像画像やデプス画像を生成する固体撮像素子等に適用できる。【選択図】図１
2020113809.tif 000002
【特許請求の範囲】
【請求項１】
画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行う演算部を備える
固体撮像素子。
【請求項２】
前記畳み込み層およびプーリング層の演算に相当する係数を記憶するメモリを備え、
前記演算部は、前記画素の信号に前記係数を乗算する処理を行うことにより、前記演算を行う
請求項１に記載の固体撮像素子。
【請求項３】
前記メモリは、複数種類の前記係数を記憶し、
前記演算部は、複数種類の前記係数の一つを選択して、前記演算を行う
請求項２に記載の固体撮像素子。
【請求項４】
前記演算部は、前記画素の前記信号を保持する容量素子の容量比を画素単位で異ならせることで、前記畳み込み層の演算に相当する係数を前記信号に乗算する
請求項１に記載の固体撮像素子。
【請求項５】
前記畳み込み層およびプーリング層の少なくとも１段の演算により、前記画素アレイ部の画素数に対応する解像度よりも低い解像度の画素信号を出力する出力部をさらに備える
請求項１に記載の固体撮像素子。
【請求項６】
前記演算部は、前記画素アレイ部で得られた画像に対して注目領域を抽出し、前記注目領域の画像に対して、前記演算を行う
請求項１に記載の固体撮像素子。
【請求項７】
固体撮像素子が、
画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行い、演算後の画素信号を出力する
固体撮像素子の信号処理方法。
【請求項８】
画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行う演算部を備える固体撮像素子
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像素子およびその信号処理方法、並びに電子機器に関し、特に、固体撮像素子からの画素信号の読み出しに必要なバス帯域や消費電力を抑制することができるようにした固体撮像素子およびその信号処理方法、並びに電子機器に関する。
【背景技術】
【０００２】
画像の機械学習には、畳み込みニューラルネットワーク（以下、CNN（Convolutional Neural Network）と称する。）が有用であることが知られている。CNNは、畳み込み層とプーリング層の複数階層を有し、一般的には、画像処理装置で演算処理される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−６７１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、イメージセンサの高解像度化が進んでいる。高解像度の画像に対してCNNの演算処理を適用する場合、積和等の演算数も、処理する画素数に比例して増大し、処理負荷や消費電力が増大する。また、イメージセンサの高解像度化に伴い、イメージセンサからの画素信号の読み出しに必要なバス帯域や消費電力も増大する。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、固体撮像素子からの画素信号の読み出しに必要なバス帯域や消費電力を抑制することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の第１の側面の固体撮像素子は、画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行う演算部を備える固体撮像素子である。
【０００７】
本技術の第２の側面の固体撮像素子の信号処理方法は、固体撮像素子が、画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行い、演算後の画素信号を出力する固体撮像素子の信号処理方法である。
【０００８】
本技術の第３の側面の電子機器は、画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行う演算部を備える固体撮像素子を備える電子機器である。
【０００９】
本技術の第１乃至第３の側面においては、画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算が固体撮像素子で行われる。
【００１０】
固体撮像素子及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用した固体撮像素子の概略構成を示す図である。
【図２】CNN構成の例を示す図である。
【図３】CNN構成の例を示す図である。
【図４】固体撮像素子の信号処理回路およびメモリの第１構成例を示すブロック図である。
【図５】固体撮像素子のチップ構成例を示す図である。
【図６】固体撮像素子の第１の撮像処理を説明するフローチャートである。
【図７】固体撮像素子の信号処理回路およびメモリの第２構成例を示すブロック図である。
【図８】固体撮像素子の第２の撮像処理を説明するフローチャートである。
【図９】画素アレイ部に配列される画素の回路構成例を示す図である。
【図１０】AD変換部の詳細な構成を模式的に示した図である。
【図１１】本技術を適用した電子機器としてのスマートフォンの構成例を示すブロック図である。
【図１２】スマートフォンのアプリケーション例を説明する図である。
【図１３】スマートフォンのアプリケーション例を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．固体撮像素子の概略構成例
２．畳み込みニューラルネットワークの概要
３．信号処理回路の第１構成例
４．信号処理回路の第２構成例
５．変形例
６．アナログ回路上でのフィルタ処理および加算処理
７．電子機器の構成例
８．アプリケーション例
【００１３】
＜１．固体撮像素子の概略構成例＞
図１は、本開示に係る固体撮像素子の概略構成を示すブロック図である。
【００１４】
図１の固体撮像素子１は、画素（不図示）が行列状に複数配列された画素アレイ部１１と、その周辺の周辺回路部とを有して構成される。周辺回路部には、垂直駆動部１２、AD変換部１３、水平駆動部１４、制御部１５、信号処理回路１６、メモリ１７、及び、入出力部１８などが含まれる。
【００１５】
画素アレイ部１１内に２次元配置されている各画素は、光電変換部としてのフォトダイオードと、複数の画素トランジスタを有して構成される。複数の画素トランジスタは、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタなどのMOSトランジスタである。画素アレイ部１１の各画素には、例えば、Red、Green,またはBlueのカラーフィルタがベイヤ配列で配置されており、各画素は、Red、Green,またはBlueのいずれかの画素信号を出力する。画素の回路構成例については、図９を参照して後述する。
【００１６】
垂直駆動部１２は、例えばシフトレジスタによって構成され、画素駆動配線（不図示）を介して画素アレイ部１１の各画素に駆動パルスを供給することにより、行単位で画素を駆動する。すなわち、垂直駆動部１２は、画素アレイ部１１の各画素を行単位で順次垂直方向に選択走査し、各画素のフォトダイオードにおいて入射光量に応じて生成された信号電荷に基づく画素信号を、列単位に共通に設けられた垂直信号線（不図示）を通してAD変換部１３に供給する。
【００１７】
AD変換部１３は、画素アレイ部１１の１行分の各画素から出力された画素信号に対して、画素固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling：相関２重サンプリング)処理や、AD変換処理を行う。
【００１８】
水平駆動部１４は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、AD変換部１３に保持されている所定の一行の各画素のAD変換後の（デジタルの）画素信号を信号処理回路１６に順次出力させる。
【００１９】
制御部１５は、外部から入力されるクロック信号と、動作モードなどを指令するデータを受け取り、固体撮像素子１全体の動作を制御する。例えば、制御部１５は、入力されたクロック信号に基づいて、垂直同期信号や水平同期信号などを生成し、垂直駆動部１２、AD変換部１３、及び、水平駆動部１４などに供給する。
【００２０】
信号処理回路１６は、AD変換部１３から供給される画素信号に対して、黒レベル調整処理、列ばらつき補正処理、デモザイク処理などの各種のデジタル信号処理を必要に応じて実行し、入出力部１８に供給する。信号処理回路１６は、動作モードによっては、バファリングだけを行って出力する場合もある。メモリ１７は、信号処理回路１６が行う信号処理に必要となるパラメータなどのデータを記憶する。また、メモリ１７は、例えば、デモザイク処理などの処理において画像信号を記憶するためのフレームメモリも備える。信号処理回路１６は、入出力部１８を介して外部の画像処理装置から入力されたパラメータなどをメモリ１７に記憶させたり、外部の画像処理装置からの指示に基づいて、信号処理を適宜選択し、実行することができる。
【００２１】
入出力部１８は、信号処理回路１６から順次入力される画像信号を、外部の画像処理装置、例えば、後段のISP(Image Signal Processor)などに出力する。また、入出力部１８は、外部の画像処理装置から入力される信号やパラメータを、信号処理回路１６や制御部１５へ供給する。
【００２２】
固体撮像素子１は、以上のように構成されており、例えば、CDS処理とAD変換処理を画素列ごとに行うカラムAD方式と呼ばれるCMOSイメージセンサである。
【００２３】
＜２．畳み込みニューラルネットワークの概要＞
図１の固体撮像素子１は、画素アレイ部１１における受光により生成された画像（生成画像）を用いた畳み込みニューラルネットワーク（以下、CNN（Convolutional Neural Network）と称する。）の演算処理の一部を行って、外部に出力することができるように構成されている。
【００２４】
初めに、図２および図３を参照して、CNNの概要について説明する。
【００２５】
図２は、入力画像からクラス分類結果を出力するCNN構成の例を示す図である。
【００２６】
図２のCNNは、例えば、入力画像PICに対して、複数個のシーンのなかから、入力画像PICが該当するシーンをクラス分類結果として出力する処理を行うことができる。
【００２７】
図２のCNNは、例えば、複数段の畳み込み層とプーリング層とからなる特徴量抽出器２１と、ニューラルネットワーク（全結合層）である識別器２２とで構成される。識別器２２の前段の特徴量抽出器２１において、畳み込み層とプーリング層とにより、入力画像の特徴が抽出される。
【００２８】
図２の特徴量抽出器２１は、４段の畳み込み層とプーリング層とからなり、入力画像PICに近い側から、第１段の畳み込み層C１、第２段の畳み込み層C２、第３段の畳み込み層C３、第４段の畳み込み層C４とすると、後段になるほど、処理画像の解像度は小さくなり、特徴マップ数（チャネル数）は大きくなる。より具体的には、入力画像PICの解像度がｍ1×ｎ1であるとすると、第１段の畳み込み層C１の解像度がｍ2×ｎ2、第２段の畳み込み層C２の解像度がｍ3×ｎ3、第３段の畳み込み層C３の解像度がｍ4×ｎ4、第４段の畳み込み層C４の解像度がｍ5×ｎ5となっている（ｍ1×ｎ1＜ｍ2×ｎ2≦ｍ3×ｎ3≦ｍ4×ｎ4≦ｍ5×ｎ5）。また、第１段の畳み込み層C１の特徴マップ数がｋ1、第２段の畳み込み層C２の特徴マップ数がｋ2、第３段の畳み込み層C３の特徴マップ数がｋ3、第４段の畳み込み層C４の特徴マップ数がｋ4となっている（ｋ1≦ｋ2≦ｋ3≦ｋ4,ただし、ｋ1乃至ｋ4が同一にはならない）。なお、図２では、プーリング層の図示が省略されている。
【００２９】
識別器２２は、入力層FC１、１層以上の隠れ層FC２、および、出力層FC３とで構成され、各層の全ノードが後段の層の全ノードと結合されている。
【００３０】
このようなCNNの構成は、例えば、“http://nocotan.github.io/chainer/2017/08/04/chainercnn-copy.html”に開示されている。
【００３１】
CNNは、クラス分類のみならず、画像の領域分割やヒートマップ出力などのような画像的な情報を出力する場合にも適用することができる。
【００３２】
図３は、入力画像に含まれる所望の物体の領域を識別した領域画像を識別結果として出力するCNN構成の例を示す図である。
【００３３】
図３のCNNは、例えば、入力画像PICに対して、入力画像PICに含まれる所望の物体（例えば、人、動物、建物など）の領域を抽出した抽出画像Poutを出力する処理を行う。
【００３４】
図３のCNNは、畳み込みネットワーク部３１と、逆畳み込みネットワーク部３２とで構成され、全結合層を持たない構成とされている。
【００３５】
畳み込みネットワーク部３１は、入力画像PICに近い側から、第１段の畳み込み層C１１およびプーリング層P１１乃至第５段の畳み込み層C１５およびプーリング層P１５、第６段の畳み込み層C１６の順に配置され、各畳み込み層において、所定のフィルタ係数によるフィルタリング処理と、プーリング層によるダウンサンプリング処理が行われる。
【００３６】
逆畳み込みネットワーク部３２は、畳み込みネットワーク部３１に近い側から、第１段の逆畳み込み層DC１１、第２段の逆畳み込み層DC１２および逆プーリング層UP１２乃至第６段の逆畳み込み層DC１６および逆プーリング層UP１６、第７段の逆畳み込み層DC１７の順に配置され、各逆畳み込み層において、所定のフィルタ係数によるフィルタリング処理と、逆プーリング層によるアップサンプリング処理が行われる。
【００３７】
このようなCNNの構成は、例えば、“https://www.wantedly.com/companies/xcompass/post_articles/72450”に開示されている。
【００３８】
CNNは、図２および図３で説明した構成の他、CNNに認識させたい対象や用途目的（例えば撮影しているシーンの認識、各種物体の位置や種類の検出、顔の位置や表情姿勢、個人識別など）に応じて様々なネットワーク構成が考えられる。
【００３９】
しかしながら、入力画像PICに近い1段目や2段目の層については、コントラスト/エッジ検出等に近い、プリミティブな画像特徴量を抽出するフィルタ係数の分布になることが多く、共通のフィルタ係数およびフィルタサイズで賄うことが可能である場合が多い。
【００４０】
そこで、図１の固体撮像素子１では、各種のCNNに共通して用いることが可能な、入力画像PICに近い側の畳み込み層およびプーリング層の演算、例えば1段目の畳み込み層およびプーリング層の処理や、1段目および２段目の畳み込み層およびプーリング層の処理を予め固体撮像素子１内で実行し、処理後の結果を、外部の画像処理装置に出力できるように構成されている。固体撮像素子１のセンサ上でCNN演算の一部を予め実行することで、画素アレイ部１１の解像度よりも低い解像度の画像信号を出力できるので、後段装置との通信路のバス帯域の削減、および、消費電力の抑制を実現することができる。
【００４１】
＜３．信号処理回路の第１構成例＞
図４は、固体撮像素子１のCNN演算処理に関する信号処理回路１６およびメモリ１７の第１構成例を示すブロック図である。
【００４２】
信号処理回路１６は、畳み込み演算部５１、および、プーリング演算部５２を備え、CNNの演算処理の一部を行う演算部として機能する。
【００４３】
畳み込み演算部５１は、AD変換部１３から供給される撮像画像、より具体的には、画素アレイ部１１の各画素の画素信号に対して、CNNの畳み込み演算処理を行う。プーリング演算部５２は、畳み込み演算後の撮像画像に対して、プーリング演算処理を行う。
【００４４】
メモリ１７には、畳み込み演算部５１の畳み込み演算処理で用いられるフィルタ係数と、プーリング演算部５２のプーリング演算処理で用いられるプーリング関数とが記憶されている。例えば、フィルタ係数としては、フィルタサイズが３ｘ３画素、３２種類のフィルタ種類（チャネル数が３２）のフィルタ係数が記憶されている。フィルタ係数には、広範な画像特徴を含む、大規模なデータセットで学習した係数を採用することができる。プーリング関数としては、例えば、２ｘ２画素の最大値、平均値、合計値などを演算する関数が記憶されている。
【００４５】
畳み込み演算部５１は、メモリ１７に記憶されているフィルタ係数を用いて、畳み込み演算処理を行う。プーリング演算部５２は、メモリ１７に記憶されているプーリング関数を用いて、プーリング演算処理を行う。メモリ１７の一部であるフレームメモリには、畳み込み演算処理およびプーリング演算処理において一時的に保持するデータが記憶される。
【００４６】
図２のCNNの例で言えば、例えば、信号処理回路１６は、第１段の畳み込み層C１の処理を行い、処理後の画像を出力する。図３のCNNの例で言えば、信号処理回路１６は、第１段の畳み込み層C１１およびプーリング層P１１の処理を行い、処理後の画像を出力する。図２および図３の入力画像PICは、画素アレイ部１１の各画素で受光した受光量に応じた画素信号からなる画像に相当する。
【００４７】
なお、固体撮像素子１は、1段目の畳み込み層およびプーリング層だけに限らず、入力画像PICに最も近い複数段、例えば、第１段と第２段の畳み込み層およびプーリング層の処理を行った後の処理画像を出力する構成とすることも可能である。この場合、メモリ１７には、第１段と第２段のフィルタ係数とプーリング関数とが記憶される。また、メモリ１７には、複数種類の1段目の畳み込み層およびプーリング層に対応するフィルタ係数とプーリング関数とを記憶し、外部の画像処理装置から指定された所定のフィルタ係数とプーリング関数とを選択して、演算することも可能である。
【００４８】
固体撮像素子１は、図５に示されるように、複数のダイ（基板）としてのセンサダイ（基板）７１とロジックダイ７２とが積層された１つのチップで構成することができる。
【００４９】
センサダイ７１には、センサ部８１（としての回路）が構成され、ロジックダイ７２には、ロジック部８２（としての回路）が構成されている。
【００５０】
センサ部８１は、画素アレイ部１１を少なくとも備える。ロジック部８２は、例えば、垂直駆動部１２、AD変換部１３、水平駆動部１４、制御部１５、信号処理回路１６、メモリ１７、及び、入出力部１８を備える。ロジック部８２に含まれる入出力部１８が、撮像画像に対して少なくとも１段目の畳み込み層およびプーリング層に相当する処理を実行した後の画像信号（CNN処理後信号）を、外部の画像処理装置に出力する。
【００５１】
なお、センサ部８１とロジック部８２の分担構成は、これに限られず、任意の分担構成とすることができる。例えば、垂直駆動部１２や制御部１５などが、ロジック部８２ではなく、センサ部８１に配置されてもよい。
【００５２】
図６のフローチャートを参照して、信号処理回路の第１構成例による固体撮像素子１の撮像処理（第１の撮像処理）を説明する。図６の処理は、例えば、外部の画像処理装置から、撮像を指示する制御信号が入力されたとき開始される。
【００５３】
ステップＳ１１において、固体撮像素子１は、撮像を行う。すなわち、制御部１５が、垂直駆動部１２や水平駆動部１４にクロック信号や制御信号を供給し、画素アレイ部１１の各画素に、所定の露光期間による受光を行わせる。受光後の画素信号が、AD変換部１３に入力され、AD変換部１３でデジタル信号に変換された後、信号処理回路１６に供給される。
【００５４】
ステップＳ１２において、信号処理回路１６は、画素アレイ部１１で得られた撮像画像に対して、CNNの１段目の畳み込み演算処理を実行する。これにより、信号処理回路１６において、画素アレイ部１１の各画素の画素信号に、メモリ１７から読み出したフィルタ係数が乗算される。
【００５５】
ステップＳ１３において、信号処理回路１６は、畳み込み演算処理後の撮像画像に対して、CNNの１段目のプーリング演算処理を実行する。これにより、信号処理回路１６において、フィルタ係数乗算後の画素信号がプーリング関数に代入されることにより、所定の演算が実行される。
【００５６】
ステップＳ１４において、信号処理回路１６は、プーリング演算処理後の撮像画像の画像信号を、入出力部１８を介して、外部の画像処理装置に出力して、撮像処理を終了する。
【００５７】
＜４．信号処理回路の第２構成例＞
図７は、固体撮像素子１のCNN演算処理に関する信号処理回路１６およびメモリ１７の第２構成例を示すブロック図である。
【００５８】
図７において、図４の第１構成例と対応する部分については同一の符号を付してあり、
【００５９】
図７の信号処理回路１６は、第１構成例と同じ畳み込み演算部５１およびプーリング演算部５２に加えて、領域抽出部５３をさらに備える。
【００６０】
領域抽出部５３は、AD変換部１３から供給される撮像画像に対して、注目対象となるオブジェクトの領域を注目領域として抽出する。例えば、領域抽出部５３は、撮像画像から顔領域を検出し、注目領域として抽出する。あるいはまた、領域抽出部５３は、AD変換部１３から供給される撮像画像に対して、注目対象となるオブジェクトを抽出し、オブジェクトを含む所定の解像度領域となるように注目領域を決定する。領域抽出部５３は、決定した注目領域を特定する領域情報を制御部１５に供給する。制御部１５は、次のフレームにおいて、領域抽出部５３からの領域情報に基づいて注目領域を撮像するように垂直駆動部１２を制御する。
【００６１】
畳み込み演算部５１は、メモリ１７に記憶されているフィルタ係数を用いて、注目領域の撮像画像に対する畳み込み演算処理を行う。プーリング演算部５２は、メモリ１７に記憶されているプーリング関数を用いて、注目領域の撮像画像に対するプーリング演算処理を行う。
【００６２】
図８のフローチャートを参照して、信号処理回路の第２構成例による固体撮像素子１の撮像処理（第２の撮像処理）を説明する。図８の処理は、例えば、外部の画像処理装置から、撮像を指示する制御信号が入力されたとき開始される。
【００６３】
ステップＳ３１において、固体撮像素子１は、画素アレイ部１１の全領域で撮像を行う。ステップＳ３１の処理は、図６のステップＳ１１の処理と同様である。
【００６４】
ステップＳ３２において、信号処理回路１６の領域抽出部５３は、AD変換部１３から供給された撮像画像のなかから注目領域を抽出する。例えば、領域抽出部５３は、注目対象となるオブジェクトの領域を注目領域として抽出する。あるいはまた、領域抽出部５３は、AD変換部１３から供給される撮像画像に対して、注目対象となるオブジェクトを抽出し、オブジェクトを含む所定の解像度領域となるように注目領域を決定する。領域抽出部５３は、決定した注目領域を特定する領域情報を、制御部１５に供給する。
【００６５】
ステップＳ３３において、制御部１５は、垂直駆動部１２を制御し、領域抽出部５３からの領域情報に基づいて注目領域を撮像するように画素アレイ部１１を駆動させる。画素アレイ部１１は、画素アレイ部１１の全領域のうち、注目領域の撮像を行う。注目領域の画素信号がAD変換部１３でデジタル信号に変換された後、信号処理回路１６に供給される。
【００６６】
ステップＳ３４において、信号処理回路１６は、注目領域の撮像画像に対して、CNNの１段目の畳み込み演算処理を実行する。
【００６７】
ステップＳ３５において、信号処理回路１６は、畳み込み演算処理後の注目領域の撮像画像に対して、CNNの１段目のプーリング演算処理を実行する。
【００６８】
ステップＳ３６において、信号処理回路１６は、プーリング演算処理後の注目領域の撮像画像の画像信号を、入出力部１８を介して、外部の画像処理装置に出力して、撮像処理を終了する。
【００６９】
＜５．変形例＞
上述した第２の撮像処理では、信号処理回路１６自身が、注目領域を特定する処理を実行したが、注目領域を特定する領域情報は、外部の画像処理装置から入力されてもよい。この場合、固体撮像素子１は、画素アレイ部１１の全領域で撮像を行って得られた撮像画像を、外部の画像処理装置に出力する。そして、外部の画像処理装置から、注目領域を特定する領域情報が入力され、信号処理回路１６から制御部１５に供給される。信号処理回路１６が注目領域の撮像画像に対してCNNの１段目の畳み込み層およびプーリング層に相当する演算処理を行う点は同様である。
【００７０】
上述した第２の撮像処理において、オブジェクトを含む所定の解像度領域を特定する解像度情報は、予め決定されているか、メモリ１７に記憶されていることとするが、解像度情報は、外部の画像処理装置から入力されるようにしてもよい。
【００７１】
信号処理回路１６は、CNNの１段目の畳み込み層およびプーリング層に相当する演算処理だけでなく、２段目を含む、撮像画像に近い側から複数段の畳み込み層およびプーリング層に相当する演算処理を行うようにしてもよい。
【００７２】
＜６．アナログ回路上でのフィルタ処理および加算処理＞
上述した実施の形態では、CNNの１段目の畳み込み層の畳み込み演算処理を、画素信号がAD変換された後のデジタル信号を用いて、信号処理回路１６で行うようにしたが、AD変換部１３でデジタル信号に変換される前のアナログ信号に対して、フィルタ係数に相当する重み付けを行う構成としてもよい。この場合、アナログ信号の信号処理を行う回路が、CNNの演算処理の一部を行う演算部として機能する。
【００７３】
以下、アナログの画素信号に対して、フィルタ係数に相当する重み付けを行う回路構成例について説明する。
【００７４】
図９は、画素アレイ部１１に配列される画素の回路構成例を示す図である。
【００７５】
図９の画素１００は、光電変換部１２１、転送トランジスタ１２２、FD（浮遊拡散領域）１２３、接続トランジスタ１２４、付加容量１２５、リセットトランジスタ１２６、増幅トランジスタ１２７、および、選択トランジスタ１２８を備える。
【００７６】
光電変換部１２１は、例えば、フォトダイオードで構成され、入射されてきた光を受光して光電変換し、その結果得られた電荷を蓄積する。また、光電変換部１２１に蓄積された電荷は、転送トランジスタ１２２のゲートに供給される駆動信号TRGがハイレベルとなって転送トランジスタ１２２がオンされると、転送トランジスタ１２２を介してFD１２３に転送される。
【００７７】
FD１２３は、転送トランジスタ１２２から転送された電荷を一時的に保持する。FD１２３には、接続トランジスタ１２４を介して付加容量１２５が接続されており、接続トランジスタ１２４のゲートに供給される駆動信号CONNがハイレベルとなって接続トランジスタ１２４がオンとされると、FD１２３と付加容量１２５が電気的に接続される。この場合、転送トランジスタ１２２を介して転送されてきた電荷は、FD１２３と付加容量１２５とで保持される。
【００７８】
また、FD１２３には、増幅トランジスタ１２７および選択トランジスタ１２８を介して垂直信号線１２９が接続されている。垂直信号線１２９は、AD変換部１３（図１）の同じ列のコンパレータ１５２（図１０）に接続されている。
【００７９】
リセットトランジスタ１２６は、リセット信号RSTによりオンされたとき、FD１２３に保持されている電荷が定電圧源VDDに排出されることで、FD１２３の電位をリセットする。リセットトランジスタ１２６がオンされるタイミングでは、接続トランジスタ１２４もオンされ、付加容量１２５の電位も、同時にリセットされる。
【００８０】
増幅トランジスタ１２７は、FD１２３の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ１２７は、定電流源としての負荷MOS（不図示）とソースフォロワ回路を構成し、FD１２３に保持されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ１２７から選択トランジスタ１２８を介してAD変換部１３（図１）に出力される。負荷MOSは、例えば、AD変換部１３内に設けられている。
【００８１】
選択トランジスタ１２８は、選択信号SELにより画素１００が選択されたときオンされ、画素１００の画素信号を、垂直信号線１２９を介してAD変換部１３に出力する。
【００８２】
以上のように構成される画素１００では、接続トランジスタ１２４のオンオフを制御し、FD１２３と付加容量１２５との接続を制御することにより、FD１２３の蓄積電荷（電位）を電圧信号に変換する際の変換効率を変えることができる。これにより、画素信号の重みを異ならせることができる。
【００８３】
すなわち、FD１２３と付加容量１２５が電気的に接続された状態で、それらのFD１２３と付加容量１２５に光電変換部１２１からの電荷を蓄積し、その電荷に応じた信号を読み出すと、電圧信号への変換効率はより低くなる。
【００８４】
逆に、FD１２３が付加容量１２５と電気的に切り離された状態で、FD１２３に光電変換部１２１からの電荷を蓄積し、その電荷に応じた信号を読み出すと、電圧気信号への変換効率はより高くなる。
【００８５】
例えば、画素アレイ部１１のある画素１００では、FD１２３と付加容量１２５とを接続して電圧信号に変換し、他の画素１００では、FD１２３と付加容量１２５とを接続せずに電圧信号に変換することで、画素信号の重みを画素単位に変えることができる。画素信号の重みは、FD１２３と付加容量１２５の容量比で設定することができる。
【００８６】
固体撮像素子１は、例えば、動作モードとしてノーマルモードと加算モードとを有し、ノーマルモードでは、FD１２３と付加容量１２５とを接続せずに、各画素１００の重みを等しく設定し、撮像を行う。一方、加算モードでは、固体撮像素子１は、所定の画素１００においてFD１２３と付加容量１２５とを接続し、各画素１００の重みを異ならせて、撮像を行う。
【００８７】
なお、図９の画素回路は、ローリングシャッタ方式の画素回路であるが、転送トランジスタ１２２とFD１２３との間に、転送トランジスタ１２２で転送された電荷を保持する電荷保持部（メモリ部）と、その電荷保持部の電荷をFD１２３へ転送する第２の転送トランジスタをさらに設け、グローバルシャッタ方式の駆動を可能としてもよい。
【００８８】
図１０は、AD変換部１３の詳細な構成を模式的に示した図である。
【００８９】
AD変換部１３は、画素アレイ部１１の画素列単位に、カラムADC１５１を備える。図１０のカラムADC１５１ｖは、画素アレイ部１１において行方向に並ぶ画素１００のうちの、所定のｖ番目の列の画素１００ｖに対応するカラムADC１５１である。
【００９０】
図１０のカラムADC１５１ｖは、コンパレータ１５２およびカウンタ（U/D CNT）１５３と、４個の容量素子１６１乃至１６４とにより構成されている。
【００９１】
コンパレータ１５２は、画素信号と、DAC１５０から供給される参照信号とを比較して得られる差信号をカウンタ１５３に出力する。例えば、参照信号が画素信号より大である場合にはHi(High)の差信号がカウンタ１５３に供給され、参照信号が画素信号より小である場合にはLo(Low)の差信号がカウンタ１５３に供給される。
【００９２】
カウンタ１５３は、P相（Reset Phase）ADイネーブル期間では、Hiの差信号が供給されている間だけダウンカウントし、D相（Data Phase）ADイネーブル期間では、Hiの差信号が供給されている間だけアップカウントする。P相ADイネーブル期間は、画素のばらつき成分であるリセット成分△Vを測定する期間であり、D相ADイネーブル期間は、（信号成分Vsig＋リセット成分△V）を測定する期間であり、P相ADイネーブル期間におけるカウントとD相ADイネーブル期間におけるカウントを合わせると、（信号成分Vsig＋リセット成分△V）−（リセット成分△V）により、信号成分Vsigのみを求めることができ、CDS処理を実現している。
【００９３】
容量素子１６１乃至１６４は、参照信号および画素信号のDC成分を除去するためのものであり、容量素子１６２の容量は容量素子１６１の３／５であり、容量素子１６３と１６４それぞれの容量は、容量素子１６１の１／５となっている。したがって、容量素子１６２乃至１６４それぞれの容量を合わせた合成容量は容量素子１６１の容量と等価である。
【００９４】
容量素子１６１は、その一方の端点がDAC（Digital to Analog Converter）１５０と接続され、他方の端点がコンパレータ１５２と接続されている。容量素子１６２の一方の端点は、コンパレータ１５２と接続され、容量素子１６２の他方の端点は、垂直信号線１２９を介して、画素１００ｖと接続されている。
【００９５】
また、容量素子１６３の一方の端点は、コンパレータ１５２と接続され、容量素子１６３の他方の端点は、画素１００ｖの行方向に隣接する画素１００（ｖ−１）の垂直信号線１２９（不図示）と、スイッチ１６７および接続配線１７１を介して接続されている。容量素子１６４の一方の端点は、コンパレータ１５２と接続され、容量素子１６４の他方の端点は、画素１００ｖの画素１００（ｖ−１）とは反対側の隣りの画素１００（ｖ＋１）の垂直信号線１２９（不図示）と、スイッチ１６８および接続配線１７２を介して接続されている。
【００９６】
さらに、容量素子１６２と１６３のコンパレータ１５２側と反対側の端点どうしは、スイッチ１６５を介して接続されており、容量素子１６３と１６４のコンパレータ１５２側と反対側の端点どうしは、スイッチ１６６を介して接続されている。
【００９７】
ノーマルモードでは、制御部１５により、スイッチ１６５および１６６がいずれもオンとされるとともに、スイッチ１６７および１６８がいずれもオフとされる。この場合、コンパレータ１５２は、DAC１５０から供給される参照信号と、画素１００ｖの画素信号とを比較し、その結果得られる差信号を出力する。すなわち、ノーマルモードでは、画素列単位に同等の比率で、アナログの画素信号がAD変換される。
【００９８】
これに対して、画素加算モードでは、制御部１５により、スイッチ１６５および１６６がいずれもオフとされるとともに、スイッチ１６７および１６８がいずれもオンとされる。この場合、コンパレータ１５２は、DAC１５０から供給される参照信号と、画素１００（ｖ−１）、１００ｖ、および１００（ｖ＋１）の３つの画素信号を加算した加算画素信号とを比較し、その結果得られる差信号をカウンタ１５３に供給する。
【００９９】
容量素子１６２乃至１６４の容量比が３：１：１であるので、カラムADC１５１ｖは、行方向に隣接する３つの画素１００（ｖ−１）、１００ｖ、および１００（ｖ＋１）の画素信号を１：３：１の比で加算した画素データを出力する。
【０１００】
以上のように、本来DC成分除去用に設けていた画素信号用の容量素子を、合成容量が参照信号のDC成分除去用の容量素子の容量と同一となるという条件の下で複数設けることにより、行方向に隣接する複数画素の画素信号を所定の比率で加算する処理を実現することができる。
【０１０１】
図９および図１０の構成は、いずれか一方を採用してもよいし、両方を同時に採用してもよい。なお、図９および図１０の構成はあくまで一例であり、容量比の設定や、加算する画素数は、畳み込み層のフィルタ係数に応じて適宜設定したり、接続を切り替えることによりフィルタ係数に相当する容量比を変更可能に設定することができる。また、図９および図１０の構成のようなアナログ信号の演算を１段目の畳み込み層およびプーリング層に相当する演算として行い、信号処理回路１６において、２段目の畳み込み層およびプーリング層に相当する演算を行うようにしてもよい。
【０１０２】
＜７．電子機器の構成例＞
本技術は、固体撮像素子への適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。固体撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
【０１０３】
図１１は、本技術を適用した電子機器としての、スマートフォンの構成例を示すブロック図である。
【０１０４】
図１１に示すように、スマートフォン２０１は、測距モジュール２０２、撮像装置２０３、ディスプレイ２０４、スピーカ２０５、マイクロフォン２０６、通信モジュール２０７、センサユニット２０８、タッチパネル２０９、および制御ユニット２１０が、バス２１１を介して接続されて構成される。また、制御ユニット２１０では、CPUがプログラムを実行することによって、アプリケーション処理部２２１およびオペレーションシステム処理部２２２としての機能を備える。
【０１０５】
測距モジュール２０２は、スマートフォン２０１の前面に配置され、前方の被写体までの距離を測定し、測距結果として出力する。例えば、測距モジュール２０２は、スマートフォン２０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプスを測距結果として出力することができる。
【０１０６】
撮像装置２０３は、スマートフォン２０１の前面に配置され、前方の被写体を撮像し、その結果得られる画像を出力する。例えば、スマートフォン２０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を生成する。なお、図示しないが、スマートフォン２０１の背面にも撮像装置２０３が配置された構成としてもよい。撮像装置２０３のイメージセンサとして、上述した固体撮像素子１が搭載されている。
【０１０７】
ディスプレイ２０４は、アプリケーション処理部２２１およびオペレーションシステム処理部２２２による処理を行うための操作画面や、撮像装置２０３が撮像した画像などを表示する。スピーカ２０５およびマイクロフォン２０６は、例えば、スマートフォン２０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
【０１０８】
通信モジュール２０７は、Bluetooth（登録商標）、無線LANなどのネットワーク通信を行う。センサユニット２０８は、速度や加速度、近接などをセンシングし、タッチパネル２０９は、ディスプレイ２０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
【０１０９】
アプリケーション処理部２２１は、スマートフォン２０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部２２１は、撮像装置２０３から供給される撮像画像に基づいて、ユーザの表情を加工したり、フィルタ処理した画像を作成し、ディスプレイ２０４に表示する処理を行うことができる。また、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
【０１１０】
オペレーションシステム処理部２２２は、スマートフォン２０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプスに基づいて、ユーザの顔を認証し、スマートフォン２０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプスに基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
【０１１１】
以上のように、上述した固体撮像素子１を撮像装置２０３の一部として組み込んだスマートフォン２０１が実現できる。
【０１１２】
＜８．アプリケーション例＞
このように構成されているスマートフォン２０１では、CPUで実行されたアプリケーション処理部２２１としての１つのアプリケーションプログラムが、CNNの１段目の畳み込み層およびプーリング層に相当する演算処理まで実行された後の画像を撮像装置２０３から取得し、残りのCNNの演算処理を実行することで、所定のサービスを提供することができる。
【０１１３】
図１２および図１３は、撮像装置２０３からCNNの演算処理後の画像を取得して、画像の加工を行うアプリケーションプログラム（以下、画像加工アプリと称する。）の処理例を示している。
【０１１４】
画像加工アプリは、撮像装置２０３から画像を取得し、例えば、夜景、人物、逆光、風景などの複数のシーンのなかから、画像のシーンを認識し、画像加工の処理モードを切り替える。
【０１１５】
また、画像加工アプリは、図１２に示されるように、撮像装置２０３からの画像に含まれる顔領域の画像３０１の特徴点を抽出する処理を実行し、目、鼻、口、耳などの各パーツの位置を特定する。図１２の左側の顔領域の画像３０１において、点（丸）で示される箇所が抽出された特徴点を表す。
【０１１６】
そして、画像加工アプリは、図１３に示されるように、顔領域の画像３０１の所定のパーツに所定の画像を重畳させた加工画像をディスプレイ２０４に表示させる。画像３０２は、ユーザの顔にメガネを重畳させた加工画像の例である。画像３０３は、ユーザの顔に動物の耳や鼻を模したパーツを重畳させた加工画像の例である。
【０１１７】
画像のシーンの認識処理、および、図１２のような特徴点抽出処理には、CNNが用いてられており、画像加工アプリは、シーンの認識処理と特徴点抽出処理のCNNに共通に設定された第１段の畳み込み層とプーリング層に相当する演算処理後の画像信号を撮像装置２０３から取得して、後段の畳み込み層とプーリング層の演算や全結合層の演算を行う。そして、画像加工アプリは、最終的に得られた加工画像をディスプレイ２０４に表示させる。画像加工アプリは、撮像装置２０３から、CNNの演算処理の一部を実行した後の画像データを取得することができるので、バス帯域および処理負荷を低減することができる。
【０１１８】
あるいは、例えば、固体撮像素子１のメモリ１７に、複数のフィルタ係数およびプーリング関数が記憶されている場合には、シーンの認識処理と特徴点抽出処理とで、第１段の畳み込み層とプーリング層の演算を異ならせることも可能である。この場合、画像加工アプリが入出力部１８を介して固体撮像素子１にフィルタ係数およびプーリング関数の種類を指定し、シーンの認識処理のCNNと特徴点抽出処理のCNNとで、第１段の畳み込み層とプーリング層の異なる演算が行われた画像信号が、固体撮像素子１から取得される。
【０１１９】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２０】
例えば、上述した実施の形態では、固体撮像素子１は、各画素から得られるRed、Green,またはBlueのいずれかの画素信号をデモザイク処理することにより、各画素がRed、Green,およびBlueの画素情報を有する画像に変換し、出力する構成であるとして説明した。
【０１２１】
しかしながら、本技術は、２次元配置された複数の画素を有する画素アレイ部を備える固体撮像素子（受光素子）全般に適用することができる。例えば、カラーフィルタを持たないグレースケール出力の固体撮像素子、赤外線を受光する固体撮像素子、被写体から反射した反射光を受光し、被写体までの距離に応じたでデプス情報を出力するToFセンサとしての固体撮像素子などにも適用可能である。
【０１２２】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１２３】
なお、本技術は、以下の構成を取ることができる。
（１）
画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行う演算部を備える
固体撮像素子。
（２）
前記畳み込み層およびプーリング層の演算に相当する係数を記憶するメモリを備え、
前記演算部は、前記画素の信号に前記係数を乗算する処理を行うことにより、前記演算を行う
前記（１）に記載の固体撮像素子。
（３）
前記メモリは、複数種類の前記係数を記憶し、
前記演算部は、複数種類の前記係数の一つを選択して、前記演算を行う
前記（２）に記載の固体撮像素子。
（４）
前記演算部は、前記画素の前記信号を保持する容量素子の容量比を画素単位で異ならせることで、前記畳み込み層の演算に相当する係数を前記信号に乗算する
前記（１）乃至（３）のいずれかに記載の固体撮像素子。
（５）
前記畳み込み層およびプーリング層の少なくとも１段の演算により、前記画素アレイ部の画素数に対応する解像度よりも低い解像度の画素信号を出力する出力部をさらに備える
前記（１）乃至（４）のいずれかに記載の固体撮像素子。
（６）
前記演算部は、前記画素アレイ部で得られた画像に対して注目領域を抽出し、前記注目領域の画像に対して、前記演算を行う
前記（１）乃至（５）のいずれかに記載の固体撮像素子。
（７）
固体撮像素子が、
画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行い、演算後の画素信号を出力する
固体撮像素子の信号処理方法。
（８）
画素アレイ部の各画素に入射された光の受光量に応じた信号に対して、畳み込みニューラルネットワークにおける畳み込み層およびプーリング層の少なくとも１段の演算を行う演算部を備える固体撮像素子
を備える電子機器。
【符号の説明】
【０１２４】
１  固体撮像素子，  １１  画素アレイ部，  １３  AD変換部，  １５  制御部，  １６  信号処理回路，  １７  メモリ，  １８  入出力部，  １００  画素，  １２１  光電変換部，  １２２  転送トランジスタ，  １２３  FD，  １２５  付加容量，  １５２  コンパレータ，  １６１乃至１６４  容量素子，  ２０１  スマートフォン，  ２２１  アプリケーション処理部，  ２０４  ディスプレイ
【図１】
2020113809.tif 000003
【図２】
2020113809.tif 000004
【図３】
2020113809.tif 000005
【図４】
2020113809.tif 000006
【図５】
2020113809.tif 000007
【図６】
2020113809.tif 000008
【図７】
2020113809.tif 000009
【図８】
2020113809.tif 000010
【図９】
2020113809.tif 000011
【図１０】
2020113809.tif 000012
【図１１】
2020113809.tif 000013
【図１２】
2020113809.tif 000014
【図１３】
2020113809.tif 000015