(57)【要約】【課題】より高速な画像認識処理の実現を可能にする。【解決手段】実施形態に係る受光デバイスは、それぞれ入射像における所定方向のエッジ成分を透過させる複数の第１フィルタと、それぞれ入射光における所定の波長帯の光を透過させる複数の第２フィルタと、それぞれ前記複数の畳み込みフィルタのうちの１つと前記複数のカラーフィルタのうちの１つとを透過した光を光電変換する複数の光電変換素子とを備える。【選択図】図４
2020191564.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ入射像における所定方向のエッジ成分を透過させる複数の第１フィルタと、
それぞれ入射光における所定の波長帯の光を透過させる複数の第２フィルタと、
それぞれ前記複数の第１フィルタのうちの１つと前記複数の第２フィルタのうちの１つとを透過した光を光電変換する複数の光電変換素子と、
を備える受光デバイス。
【請求項２】
前記第１フィルタそれぞれは、回折格子を含む請求項１に記載の受光デバイス。
【請求項３】
前記第１フィルタそれぞれは、タルボ回折格子である請求項１に記載の受光デバイス。
【請求項４】
前記複数の第１フィルタは、ガボールフィルタである請求項１に記載の受光デバイス。
【請求項５】
前記第１フィルタは、第１方向のエッジ成分を透過させる第３フィルタと、前記第１方向とは異なる第２方向のエッジ成分を透過させる第４フィルタとを含み、
前記第２フィルタは、第１波長帯の光を透過させる少なくとも２つの第５フィルタと、前記第１波長帯とは異なる第２波長帯の光を透過させる少なくとも２つの第６フィルタとを含み、
前記第５フィルタのうちの１つと前記第６フィルタのうちの１つとは、前記第３フィルタに対応付けられ、
前記第５フィルタのうちの他の１つと前記第６フィルタのうちの他の１つとは、前記第４フィルタに対応付けられている
請求項１に記載の受光デバイス。
【請求項６】
前記第１フィルタは、第１方向のエッジ成分を透過させる少なくとも２つの第３フィルタと、前記第１方向とは異なる第２方向のエッジ成分を透過させる少なくとも２つの第４フィルタとを含み、
前記第２フィルタは、第１波長帯の光を透過させる第５フィルタと、前記第１波長帯とは異なる第２波長帯の光を透過させる第６フィルタとを含み、
前記第３フィルタのうちの１つと前記第４フィルタのうちの１つとは、前記第５フィルタに対応付けられ、
前記第３フィルタのうちの他の１つと前記第４フィルタのうちの他の１つとは、前記第６フィルタに対応付けられている
請求項１に記載の受光デバイス。
【請求項７】
前記第１フィルタそれぞれは、前記光電変換素子と一対一に対応付けられている請求項１に記載の受光デバイス。
【請求項８】
前記入射光の一部を前記光電変換素子のいずれかに集光するオンチップレンズをさらに備える請求項１に記載の受光デバイス。
【請求項９】
前記第１フィルタは、前記光電変換素子と前記オンチップレンズとの間に位置する請求項８に記載の受光デバイス。
【請求項１０】
前記第２フィルタは、前記光電変換素子と前記第１フィルタとの間、又は、前記第１フィルタと前記オンチップレンズとの間に位置する請求項９に記載の受光デバイス。
【請求項１１】
請求項１に記載の受光デバイスと、
前記光電変換素子それぞれに蓄積された電荷の電荷量に応じた電圧値の画素信号を読み出す画素回路と、
を備える固体撮像装置。
【請求項１２】
請求項１１に記載の固体撮像装置と、
前記固体撮像装置から出力されたデータに対して所定の処理を実行するデータ処理部と、
を備える電子機器。
【請求項１３】
前記データ処理部は、前記固体撮像装置から読み出された前記データに対して学習済みモデルを用いた機械学習処理を実行する請求項１２に記載の電子機器。
【請求項１４】
前記データ処理部は、ＣＮＮ（Convolution  Neural  Network）における第２層のプーリング層以降を実行する請求項１３に記載の電子機器。
【請求項１５】
請求項１２に記載の電子機器と、
前記電子機器と所定のネットワークを介して接続されたデータ処理装置と、
を備える情報処理システム。
【請求項１６】
前記データ処理装置は、ＣＮＮにおける第２層のプーリング層以降を実行する請求項１５に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、受光デバイス、固体撮像装置、電子機器及び情報処理システムに関する。
【背景技術】
【０００２】
近年、撮像装置で取得された画像データに対して畳み込み演算による画像処理を施すことで、画像に含まれる物体を認識する技術が開発されてきている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Huaijin  G.  Chen,  Suren  Jayasuriya,  Jiyue  Yang,  Judy  Stephen,  Sriram  Sivaramakrishnan,  Ashok  Veeraraghavan,  Alyosha  C.  Molnar;  ASP  Vision:  Optically  Computing  the  First  Layer  of  Convolutional  Neural  Networks  Using  Angle  Sensitive  Pixels  (CVPR)  2016,  pp.  903-912.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、畳み込み演算による画像認識処理は、処理すべきデータ量が多く、また、処理自体も複雑であるため、より高いリアルタイム性を実現することが困難であるという課題が存在する。
【０００５】
そこで本開示では、より高速な画像認識処理の実現を可能にする受光デバイス、固体撮像装置、電子機器及び情報処理システムを提案する。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本開示に係る一形態の受光デバイスは、それぞれ入射像における所定方向のエッジ成分を透過させる複数の第１フィルタと、それぞれ入射光における所定の波長帯の光を透過させる複数の第２フィルタと、それぞれ前記複数の第１フィルタのうちの１つと前記複数の第２フィルタのうちの１つとを透過した光を光電変換する複数の光電変換素子とを備える。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係る電子機器を備える情報処理システムの概略構成例を示すブロック図である。
【図２】一実施形態に係る固体撮像装置の概略構成例を示すブロック図である。
【図３】一実施形態に係る単位画素の回路構成例を示す回路図である。
【図４】一実施形態に係る固体撮像装置の積層構成例を示す斜視図である。
【図５】一実施形態の変形例に係る固体撮像装置の積層構成例を示す斜視図である。
【図６】一般的なＣＮＮを説明するための図である。
【図７】ＣＮＮの第１層である畳み込み層の概要を説明するための図である。
【図８】ＣＮＮの第１層である畳み込み層に一実施形態を適用した場合を説明するための図である。
【図９】一実施形態に係る畳み込みフィルタの例を示す図である。
【図１０】一実施形態に係る畳み込みフィルタアレイの例を示す図である。
【図１１】一実施形態に係る畳み込みフィルタアレイで取得されるエッジ成分の周波数スペクトルの一例を示す図である。
【図１２】図１１に示す周波数スペクトルのエッジ成分を取得することが可能な畳み込みフィルタアレイを構成する畳み込みフィルタユニットの一例を示す模式図である。
【図１３】一実施形態に係る畳み込みフィルタアレイとカラーフィルタアレイとを組み合わせた組合せフィルタの概略構成例を示す平面図である。
【図１４】一実施形態に係るイメージセンサが生成するフレームデータの一例を示す図である。
【図１５】一実施形態の変形例に係る組合せフィルタの概略構成例を示す平面図である。
【図１６】一実施形態に係る光学的畳み込み演算の概要を説明するための図である。
【図１７】一実施形態に係る光学的畳み込み演算（カラーフィルタ有り）の概要を説明するための図である。
【図１８】一実施形態の変形例に係る畳み込み演算の概要を説明するための図である（その１）。
【図１９】一実施形態の変形例に係る畳み込み演算の概要を説明するための図である（その２）。
【図２０】一実施形態の変形例に係る畳み込み演算の概要を説明するための図である（その３）。
【図２１】一実施形態の変形例に係る畳み込み演算の概要を説明するための図である（その４）。
【図２２】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２３】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【０００８】
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００９】
また、以下に示す項目順序に従って本開示を説明する。
１．一実施形態
１．１  電子機器の概略構成例
１．２  固体撮像装置の概略構成例
１．３  単位画素の回路構成例
１．４  単位画素の基本機能例
１．５  イメージセンサの積層構成例
１．５．１  変形例
１．６  光学的畳み込み演算の適用例
１．７  ＣＮＮの概要
１．８  本実施形態への適用
１．９  畳み込みフィルタ
１．１０  畳み込みフィルタアレイの機能例
１．１１  畳み込みフィルタアレイのパターンと周波数スペクトルとの関係
１．１２  組合せフィルタの構成例
１．１２．１  組合せフィルタの変形例
１．１３  畳み込み演算の概要（カラーフィルタ無し）
１．１４  畳み込み演算の概要（カラーフィルタ有り）
１．１４．１  畳み込み演算の変形例
１．１５  作用・効果
２．移動体への応用例
【００１０】
１．一実施形態
１．１  電子機器の概略構成例
図１は、一実施形態に係る電子機器を備える情報処理システムの概略構成例を示すブロック図である。図１に示すように、電子機器１は、撮像装置１０と、アプリケーションプロセッサ２０とを備える。撮像装置１０は、撮像部１１と、コントロール部１２と、信号処理部１３と、ＤＳＰ（Digital  Signal  Processor）１４と、メモリ１５と、出力部１６とを備える。
【００１１】
コントロール部１２は、例えば、ユーザの操作や設定された動作モードに従い、撮像装置１０内の各部を制御する。
【００１２】
撮像部１１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系１１ａと、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列した構成を備える固体撮像装置１００とを備える。外部から入射した光は、光学系１１ａを介することで、固体撮像装置１００における受光素子が配列した受光面に結像される。固体撮像装置１００の各単位画素は、その受光素子に入射した光を電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。そして、固体撮像装置１００は、各単位画素に蓄積された電荷に基づく画素信号を、フレーム単位のデータとして出力する。なお、固体撮像装置１００の詳細については、後述する。
【００１３】
また、本実施形態において、固体撮像装置１００からフレーム単位で読み出されるデータは、後述する物理的な畳み込みフィルタを用いて実行された畳み込み演算（後述する光学的畳み込み演算）の結果である。したがって、固体撮像装置１００から読み出されるデータは、例えば、特徴マップなどのバイナリデータである。
【００１４】
信号処理部１３は、固体撮像装置１００から読み出されたバイナリデータに対して、種々の信号処理を実行する。例えば、信号処理部１３は、ランレングス圧縮などでバイナリデータを圧縮することで、伝送量を圧縮する。その他、信号処理部１３は、バイナリデータがカラー情報を含む場合、このバイナリデータをＹＵＶフォーマットやＲＧＢフォーマットなどに変換してもよい。さらに、信号処理部１３は、例えば、バイナリデータに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行してもよい。
【００１５】
なお、本実施形態にいて、信号処理部１３は必須の構成ではなく、省略されてもよい。その場合、固体撮像装置１００から出力されたバイナリデータは、ＤＳＰ１４又はメモリ１５に直接入力されてもよいし、ＤＳＰ１４を介さずに、出力部１６を介して外部のアプリケーションプロセッサ２０等へ出力されてもよい。また、撮像部１１から出力されるバイナリデータを、ランレングス圧縮などで圧縮されたデータとすることも可能である。
【００１６】
ＤＳＰ１４は、例えば、入力されたバイナリデータに対して種々の信号処理を実行してもよい。例えば、ＤＳＰ１４は、入力されたバイナリデータに対して、ディープニューラルネットワーク（ＤＮＮ）を利用した画像認識処理を実行してもよい。その場合、ＤＳＰ１４は、メモリ１５に格納されている学習済みモデルを読み出して実行することで、ＤＮＮを利用した機械学習部として機能する。そして、機械学習部として機能するＤＳＰ１４は、メモリ１５に記憶されている辞書係数とバイナリデータと掛け合わせることで、ＤＮＮを利用した画像認識処理を実行する。
【００１７】
また、ＤＳＰ１４は、バイナリデータに対する信号処理により得られた結果（以下、信号処理結果という）を、メモリ１５及び／又は出力部１６へ出力する。なお、ＤＳＰ１４には、メモリ１５へのアクセスを制御するメモリコントローラが組み込まれていてもよい。
【００１８】
なお、本実施形態にいて、ＤＳＰ１４は必須の構成ではなく、省略されてもよい。若しくは、ＤＳＰ１４は、入力されたバイナリデータに対して何ら信号処理を実行せず、そのまま出力してもよい。それらの場合、固体撮像装置１００又は信号処理部１３から出力されたバイナリデータは、メモリ１５に入力されてもよいし、出力部１６を介して外部のアプリケーションプロセッサ２０等へ出力されてもよい。
【００１９】
メモリ１５は、ＤＳＰ１４で得られた信号処理結果を必要に応じて記憶する。また、メモリ１５は、ＤＳＰ１４が実行する学習済みモデルのアルゴリズムをプログラム及び辞書係数として記憶してもよい。学習済みモデルのプログラム及び辞書係数は、例えば、外部のクラウドサーバ３０等で作成されたものがネットワーク４０を介して電子機器１にダウンロードされてメモリ１５に格納されてもよいし、電子機器１の出荷前にメモリ１５に格納されていてもよい。
【００２０】
出力部１６は、例えば、コントロール部１２からの選択制御信号に従うことで、固体撮像装置１００、信号処理部１３又はＤＳＰ１４から出力されたバイナリデータ、ＤＳＰ１４からから出力された信号処理結果、若しくは、メモリ１５に保存されているバイナリデータ又は信号処理結果を、選択的に出力する。
【００２１】
以上のようにして出力部１６から出力されたバイナリデータ又は信号処理結果は、表示やユーザインタフェースなどを処理するアプリケーションプロセッサ２０に入力される。アプリケーションプロセッサ２０は、例えば、ＣＰＵ（Central  Processing  Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。このアプリケーションプロセッサ２０には、ＧＰＵ（Graphics  Processing  Unit）やベースバンドプロセッサなどの機能が搭載されていてもよい。アプリケーションプロセッサ２０は、入力されたバイナリデータ又は信号処理結果に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワーク４０を介して外部のクラウドサーバ３０へ送信したりする。
【００２２】
なお、所定のネットワーク４０には、例えば、インターネットや、有線ＬＡＮ（Local  Area  Network）又は無線ＬＡＮや、移動体通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、種々のネットワークを適用することができる。また、バイナリデータ又は信号処理結果の送信先は、クラウドサーバ３０に限定されず、単一又は複数で連携して動作するサーバや、各種データを保管するファイルサーバや、携帯電話機等の通信端末など、通信機能を有する種々の情報処理装置（システム）であってよい。
【００２３】
１．２  固体撮像装置の概略構成例
図２は、一実施形態に係るＣＭＯＳ（Complementary  Metal-Oxide-Semiconductor）型の固体撮像装置（以下、単にイメージセンサという）の概略構成例を示すブロック図である。ここで、ＣＭＯＳ型のイメージセンサとは、ＣＭＯＳプロセスを応用して、または、部分的に使用して作成されたイメージセンサである。本実施形態に係る固体撮像装置１００は、入射面が半導体基板における素子形成面とは反対側の面（以下、裏面という）側である、いわゆる裏面照射型であってもよいし、表面側である、いわゆる表面照射型であってもよい。
【００２４】
図２に示すように、イメージセンサ１００は、例えば、画素アレイ部１０１と、垂直駆動回路１０２と、カラム処理回路１０３と、水平駆動回路１０４と、システム制御部１０５と、信号処理回路１０８と、データ格納部１０９とを備える。以下の説明において、垂直駆動回路１０２、カラム処理回路１０３、水平駆動回路１０４、システム制御部１０５、信号処理回路１０８及びデータ格納部１０９は、周辺回路とも称される。
【００２５】
画素アレイ部１０１は、受光した光量に応じた電荷を生成しかつ蓄積する光電変換素子を有する単位画素（以下、単に「画素」と記述する場合もある）１１０が行方向及び列方向に、すなわち、行列状に２次元格子状（以下、行列状という）に配置された構成を有する。ここで、行方向とは画素行の画素の配列方向（図面中、横方向）をいい、列方向とは画素列の画素の配列方向（図面中、縦方向）をいう。単位画素の具体的な回路構成や画素構造の詳細については後述する。
【００２６】
画素アレイ部１０１では、行列状の画素配列に対し、画素行ごとに画素駆動線ＬＤが行方向に沿って配線され、画素列ごとに垂直信号線ＶＳＬが列方向に沿って配線されている。画素駆動線ＬＤは、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図２では、画素駆動線ＬＤが１本ずつの配線として示されているが、１本ずつに限られるものではない。画素駆動線ＬＤの一端は、垂直駆動回路１０２の各行に対応した出力端に接続されている。
【００２７】
垂直駆動回路１０２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１０１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動回路１０２は、当該垂直駆動回路１０２を制御するシステム制御部１０５と共に、画素アレイ部１０１の各画素の動作を制御する駆動部を構成している。この垂直駆動回路１０２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系との２つの走査系を備えている。
【００２８】
読出し走査系は、単位画素から信号を読み出すために、画素アレイ部１０１の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
【００２９】
この掃出し走査系による掃出し走査により、読出し行の単位画素の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系で不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
【００３０】
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応している。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における電荷の蓄積期間（露光期間ともいう）となる。
【００３１】
垂直駆動回路１０２によって選択走査された画素行の各単位画素から出力される信号は、画素列ごとに垂直信号線ＶＳＬの各々を通してカラム処理回路１０３に入力される。カラム処理回路１０３は、画素アレイ部１０１の画素列ごとに、選択行の各画素から垂直信号線ＶＳＬを通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
【００３２】
具体的には、カラム処理回路１０３は、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated  Double  Sampling：相関二重サンプリング）処理や、ＤＤＳ（Double  Data  Sampling）処理を行う。例えば、ＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理回路１０３は、その他にも、例えば、ＡＤ（アナログ−デジタル）変換機能を備え、光電変換素子から読み出され得たアナログの画素信号をデジタル信号に変換して出力する。
【００３３】
水平駆動回路１０４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理回路１０３の画素列に対応する読出し回路（以下、画素回路という）を順番に選択する。この水平駆動回路１０４による選択走査により、カラム処理回路１０３において画素回路ごとに信号処理された画素信号が順番に出力される。
【００３４】
システム制御部１０５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動回路１０２、カラム処理回路１０３、及び、水平駆動回路１０４などの駆動制御を行う。
【００３５】
信号処理回路１０８は、少なくとも演算処理機能を有し、カラム処理回路１０３から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部１０９は、信号処理回路１０８での信号処理にあたって、その処理に必要なデータを一時的に格納する。なお、信号処理回路１０８は、上述した信号処理部１３と同一構成であってもよいし、別構成であってもよい。また、信号処理回路１０８は省略されてもよい。
【００３６】
なお、信号処理回路１０８（又はカラム処理回路１０３）から出力されたバイナリデータは、上述したように、信号処理部１３、ＤＳＰ１４、メモリ１５又は出力部１６に入力される。
【００３７】
１．３  単位画素の回路構成例
図３は、一実施形態に係る単位画素の回路構成例を示す回路図である。図３に示すように、単位画素１１０は、フォトダイオードＰＤと、転送トランジスタ１１１と、リセットトランジスタ１１２と、増幅トランジスタ１１３と、選択トランジスタ１１４と、浮遊拡散層ＦＤとを備える。
【００３８】
選択トランジスタ１１４のゲートには、画素駆動線ＬＤに含まれる選択トランジスタ駆動線ＬＤ１１４が接続され、リセットトランジスタ１１２のゲートには、画素駆動線ＬＤに含まれるリセットトランジスタ駆動線ＬＤ１１２が接続され、転送トランジスタ１１１のゲートには、画素駆動線ＬＤに含まれる転送トランジスタ駆動線ＬＤ１１１が接続されている。また、増幅トランジスタ１１３のドレインには、カラム処理回路１０３に一端が接続される垂直信号線ＶＳＬが選択トランジスタ１１４を介して接続されている。
【００３９】
以下の説明において、リセットトランジスタ１１２、増幅トランジスタ１１３と及び選択トランジスタ１１４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散層ＦＤ及び／又は転送トランジスタ１１１が含まれてもよい。
【００４０】
フォトダイオードＰＤは、入射した光を光電変換する。転送トランジスタ１１１は、フォトダイオードＰＤに発生した電荷を転送する。浮遊拡散層ＦＤは、転送トランジスタ１１１が転送した電荷を蓄積する。増幅トランジスタ１１３は、浮遊拡散層ＦＤに蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬに出現させる。リセットトランジスタ１１２は、浮遊拡散層ＦＤに蓄積された電荷を放出する。選択トランジスタ１１４は、読出し対象の単位画素１１０を選択する。
【００４１】
フォトダイオードＰＤのアノードは、接地されており、カソ−ドは、転送トランジスタ１１１のソースに接続されている。転送トランジスタ１１１のドレインは、リセットトランジスタ１１２のソースおよび増幅トランジスタ１１３のゲートに接続されており、これらの接続点であるノードが浮遊拡散層ＦＤを構成する。なお、リセットトランジスタ１１２のドレインは、不図示の垂直リセット入力線に接続されている。
【００４２】
増幅トランジスタ１１３のソースは、不図示の垂直電流供給線に接続されている。増幅トランジスタ１１３のドレインは、選択トランジスタ１１４のソースに接続されており、選択トランジスタ１１４のドレインは、垂直信号線ＶＳＬに接続されている。
【００４３】
浮遊拡散層ＦＤは、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散層ＦＤは、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散層ＦＤは、転送トランジスタ１１１のドレインとリセットトランジスタ１１２のソースと増幅トランジスタ１１３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量であってもよい。
【００４４】
１．４  単位画素の基本機能例
次に、単位画素１１０の基本機能について、図３を参照して説明する。リセットトランジスタ１１２は、垂直駆動回路１０２からリセットトランジスタ駆動線ＬＤ１１２を介して供給されるリセット信号ＲＳＴに従って、浮遊拡散層ＦＤに蓄積されている電荷の排出（リセット）を制御する。なお、リセットトランジスタ１１２がオン状態であるときに転送トランジスタ１１１をオン状態とすることで、浮遊拡散層ＦＤに蓄積されている電荷に加え、フォトダイオードＰＤに蓄積されている電荷を排出（リセット）することも可能である。
【００４５】
リセットトランジスタ１１２のゲートにＨｉｇｈレベルのリセット信号ＲＳＴが入力されると、浮遊拡散層ＦＤが垂直リセット入力線を通して印加される電圧にクランプされる。これにより、浮遊拡散層ＦＤに蓄積されていた電荷が排出（リセット）される。
【００４６】
また、リセットトランジスタ１１２のゲートにＬｏｗレベルのリセット信号ＲＳＴが入力されると、浮遊拡散層ＦＤは、垂直リセット入力線と電気的に切断され、浮遊状態になる。
【００４７】
フォトダイオードＰＤは、入射光を光電変換し、その光量に応じた電荷を生成する。生成された電荷は、フォトダイオードＰＤのカソード側に蓄積する。転送トランジスタ１１１は、垂直駆動回路１０２から転送トランジスタ駆動線ＬＤ１１１を介して供給される転送制御信号ＴＲＧに従って、フォトダイオードＰＤから浮遊拡散層ＦＤへの電荷の転送を制御する。
【００４８】
例えば、転送トランジスタ１１１のゲートにＨｉｇｈレベルの転送制御信号ＴＲＧが入力されると、フォトダイオードＰＤに蓄積されている電荷が浮遊拡散層ＦＤに転送される。一方、転送トランジスタ１１１のゲートにＬｏｗレベルの転送制御信号ＴＲＧが供給されると、フォトダイオードＰＤからの電荷の転送が停止する。
【００４９】
浮遊拡散層ＦＤは、上述したように、フォトダイオードＰＤから転送トランジスタ１１１を介して転送された電荷をその電荷量に応じた電圧値の電圧に変換する機能を持つ。したがって、リセットトランジスタ１１２がオフした浮遊状態では、浮遊拡散層ＦＤの電位は、それぞれが蓄積する電荷量に応じて変調される。
【００５０】
増幅トランジスタ１１３は、そのゲートに接続された浮遊拡散層ＦＤの電位変動を入力信号とする増幅器として機能し、その出力電圧信号は選択トランジスタ１１４を介して垂直信号線ＶＳＬに画素信号として出現する。
【００５１】
選択トランジスタ１１４は、垂直駆動回路１０２から選択トランジスタ駆動線ＬＤ１１４を介して供給される選択制御信号ＳＥＬに従って、増幅トランジスタ１１３による画素信号の垂直信号線ＶＳＬへの出現を制御する。例えば、選択トランジスタ１１４のゲートにＨｉｇｈレベルの選択制御信号ＳＥＬが入力されると、増幅トランジスタ１１３による画素信号が垂直信号線ＶＳＬに出現される。一方、選択トランジスタ１１４のゲートにＬｏｗレベルの選択制御信号ＳＥＬが入力されると、垂直信号線ＶＳＬへの画素信号の出現が停止される。これにより、複数の単位画素１１０が接続された垂直信号線ＶＳＬにおいて、選択した単位画素１１０の出力のみを取り出すことが可能となる。
【００５２】
１．５  イメージセンサの積層構成例
図４は、一実施形態に係るイメージセンサの積層構成例を示す斜視図である。なお、図４及び以下の説明では、簡略化のため、イメージセンサ１００が４×４画素である場合を例示する。
【００５３】
図４に示すように、イメージセンサ１００は、半導体チップ１２１と、畳み込みフィルタアレイ１２２と、カラーフィルタアレイ１２３と、マイクロレンズアレイ１２４とを備える。なお、図４では、半導体チップ１２１と畳み込みフィルタアレイ１２２とカラーフィルタアレイ１２３とマイクロレンズアレイ１２４とが積層方向に離間しているように示されているが、実際には、半導体チップ１２１と畳み込みフィルタアレイ１２２とカラーフィルタアレイ１２３とマイクロレンズアレイ１２４とが１つのチップとして作り込まれている。
【００５４】
半導体チップ１２１は、例えば、固体撮像装置１００における図２に例示した各構成及び図３に例示した画素回路を備える。この半導体チップ１２１は、１つのダイで構成されていてもよいし、複数のダイが貼り合わされた積層チップであってもよい。半導体チップ１２１における受光面には、画素アレイ部１０１を構成する複数のフォトダイオードＰＤが行列状に配列している。
【００５５】
半導体チップ１２１の受光面上には、例えば、畳み込みフィルタアレイ１２２が設けられる。畳み込みフィルタアレイ１２２は、例えば、各フォトダイオードＰＤと一対一に対応する畳み込みフィルタ（第１フィルタ）１３０が行列状に配列した構成を備える。
【００５６】
畳み込みフィルタアレイ１２２上には、例えば、カラーフィルタアレイ１２３が設けられる。カラーフィルタアレイ１２３は、例えば、各フォトダイオードＰＤと一対一に対応するカラーフィルタ（第２フィルタ）１５０が行列状に配列した構成を備える。
【００５７】
なお、本実施形態に係るカラーフィルタアレイ１２３の繰返しの単位パターン（以下、カラーフィルタユニットという）は、１つのＲ（赤）画素と１つのＢ（青）画素と２つのＧ（緑）画素とからなる２×２画素のベイヤー配列であってよい。ただし、これに限定されず、例えば、Ｘ−Ｔｒａｎｓ（登録商標）ＣＭＯＳセンサで採用されている３×３画素のカラーフィルタ配列（以下、Ｘ−Ｔｒａｎｓ（登録商標）型配列という）や、４×４画素のクアッドベイヤー配列（クワドラ配列ともいう）や、ベイヤー配列にホワイトＲＧＢカラーフィルタを組み合わせた４×４画素のカラーフィルタ（以下、ホワイトＲＧＢ配列という）など、種々のカラーフィルタ配列を採用することが可能である。
【００５８】
カラーフィルタアレイ１２３上には、例えば、マイクロレンズアレイ１２４が設けられる。マイクロレンズアレイ１２４は、例えば、各フォトダイオードＰＤと一対一に対応するオンチップレンズ１６０が行列状に配列した構成を備える。ただし、このような構成に限定されず、１つのオンチップレンズ１６０は、２つ以上のフォトダイオードＰＤと対応付けられていてもよい。すなわち、１つのオンチップレンズ１６０が２つ以上の単位画素１１０で共有されていてもよい。
【００５９】
以上のような構成によれば、各単位画素１１０は、半導体チップ１２１に形成された画素回路と、画素回路におけるフォトダイオードＰＤ上の畳み込みフィルタ１３０と、畳み込みフィルタ１３０上のカラーフィルタ１５０と、カラーフィルタ１５０上のオンチップレンズ１６０とを備えることとなる。
【００６０】
１．５．１  変形例
なお、畳み込みフィルタアレイ１２２の位置は、図４に例示するような、半導体チップ１２１とカラーフィルタアレイ１２３との間に限定されない。例えば、図５に例示するイメージセンサ１００Ａのように、カラーフィルタアレイ１２３とマイクロレンズアレイ１２４との間に、畳み込みフィルタアレイ１２２が配置されてもよい。
【００６１】
１．６  光学的畳み込み演算の適用例
本実施形態に係る畳み込みフィルタアレイ１２２は、例えば、単位画素１１０（具体的には、フォトダイオードＰＤ）のアレイ（画素アレイ部１０１）に入射する光の像（以下、入射像という）に対して光学的に畳み込み演算を実行する物理的な構成である。本説明において、畳み込みフィルタアレイ１２２を用いて実行される畳み込み演算を、光学的畳み込み演算という。
【００６２】
ここで、畳み込み演算の適用例について、ＤＮＮの１つであるＣＮＮ（Convolution  Neural  Network）を利用して説明する。
【００６３】
図６は、一般的なＣＮＮを説明するための図である。図６に示すように、ＣＮＮは、入力層と、交互に繰り返される複数の畳み込み層及びプーリング層と、全結合層と、出力層とから構成される。
【００６４】
本実施形態に係る畳み込みフィルタアレイ１２２を用いて実行される光学的畳み込み演算は、例えば、図６における第１層に相当する畳み込み層に適用することが可能である。その場合、ＣＮＮの入力層に入力されるデータは、イメージセンサ１００への入射像であってよい。
【００６５】
ただし、本実施形態に係る畳み込みフィルタアレイ１２２を用いて実行される光学的畳み込み演算は、第１層が畳み込み層であるＣＮＮに限定されず、入力に対して、すなわちイメージセンサ１００への入射像に対して、畳み込み演算を実行する種々の処理に適用することが可能である。
【００６６】
１．７  ＣＮＮの概要
ここで、一実施形態に係る光学的畳み込み演算が適用され得るＣＮＮの第１層の概要について説明する。
【００６７】
図７は、ＣＮＮの第１層である畳み込み層の概要を説明するための図である。なお、図７では、入力層に、チャネル数がＫであって、各チャネルのフレームデータがＷ×Ｗ画素であるフレームデータ１０５０が与えられた場合を例示する。なお、チャネル数は、例えば、後述するＲＧＢ三原色の色成分の数（３つ）に対応するものであり、本説明では、Ｋ＝３とする。Ｍは、例えば、後述する畳み込みフィルタ１３０の種類数に相当する。
【００６８】
図７に示すように、第１層に位置する畳み込み層は、直前のｌ−１層からＫチャネルのデータｚ（ｌ−１）ｉｊｋ（ｋ＝０，…，Ｋ−１）を受ける。第１層の畳み込み層では、受け取ったｚ（ｌ−１）ｉｊｋに対して、Ｍ種類のフィルタｈｐｑｋｍ（ｍ＝０，…、Ｍ−１）を用いた畳み込み演算が実行される。
【００６９】
各フィルタｈｐｑｋｍ（ｍ＝０，…、Ｍ−１）は、入力と同じチャネル数Ｋを保有し、そのサイズは、例えば、Ｈ×Ｈ×Ｋとなる。図７においては、ｍ＝０〜ＭのＭ個の各フィルタｈｐｑｋｍ（ｍ＝０，…、Ｍ−１）で並行して計算が行われ、それぞれ１チャネルずつで出力ｕｉｊｋが得られる。
【００７０】
このような畳み込み演算の終了後、結果を変数ごとに全チャネルにわたって加算する。この加算は、以下の式（１）で表すことができる。なお、式（２）において、ｂｉｊｍはバイアスであり、フィルタごとに全ユニットで共通であってよい。
【数１】
2020191564.tif 000003
【００７１】
そして、以上のようにして得られた出力ｕｉｊｍに対し、活性化関数を適用する。それにより、以下の式（２）に示す値が最終的な出力となり、次の層へと伝播される。なお、次の層では、入力のサイズがＷ×Ｗ×ＫからＷ×Ｗ×Ｍになる。
【数２】
2020191564.tif 000004
【００７２】
１．８  本実施形態への適用
つづいて、一実施形態を上述したＣＮＮに適用した場合について説明する。図８は、ＣＮＮの第１層である畳み込み層に本実施形態を適用した場合を説明するための図である。
【００７３】
図８に示すように、本実施形態をＣＮＮの第１層に適用した場合、入力層には、ＲＧＢ三原色の色成分ごとのフレームデータ５０Ｒ、５０Ｇ及び５０Ｂよりなるフレームデータ５０が与えられる。この場合、図７におけるチャネル数Ｋは、Ｒ、Ｇ及びＢの３つとなる。また、各フレームデータ５０Ｒ、５０Ｇ及び５０Ｂのサイズは、Ｗ×Ｗに相当する。
【００７４】
本実施形態において、入力層に与えられるフレームデータ５０は、例えば、イメージセンサ１００の画素アレイ部１０１に配列するフォトダイオードＰＤに入射する入射光の像であってよい。また、フィルタｈｐｑｋｍ（ｍ＝０，…、Ｍ−１）に相当するフィルタ５１は、例えば、畳み込みフィルタアレイ１２２であってよい。
【００７５】
このような畳み込み演算によれば、出力ｕｉｊｍとして、畳み込みフィルタ１３０の種類数Ｍ分の特徴マップ５４が得られる。この特徴マップ５４は、例えば、信号処理回路１０８や信号処理部１３やＤＳＰ１４やアプリケーションプロセッサ２０やクラウドサーバ３０等の外部のデータ処理部又はデータ処理装置に入力されて、第２層のプーリング層以降のＣＮＮが実行される。
【００７６】
なお、入力層に入力されるデータは、１ページ分のフレームデータ５０に限定されず、１又は数画素ごとや、１ラインごとや、特定の領域（ＲＯＩ（Region  of  Interest））のデータであってもよい。その場合、本実施形態に係る光学的畳み込み演算は、ＣＮＮに代えて、ＲＮＮＮ（Recurrent  Neural  Network）などの他のＤＮＮに適用されてもよい。
【００７７】
１．９  畳み込みフィルタ
このような光学的畳み込み演算を実行する畳み込みフィルタアレイ１２２を構成する各畳み込みフィルタ１３０には、例えば、タルボ回折を利用した回折格子（タルボ回折格子ともいう）を用いることが可能である。
【００７８】
図９は、一実施形態に係る畳み込みフィルタの例を示す図である。なお、図９には、ペアで使用される２つの単位画素１１０Ａ及び１１０Ｂが示されている。
【００７９】
図９に示すように、一方の単位画素１１０Ａに設けられた畳み込みフィルタ１３０Ａは、上段（入射光の進路における上流側）に配置された回折格子１３１Ａと、下段（入射光の進路における下流側）に配置された回折格子１３２Ａとを備える。
【００８０】
回折格子１３１Ａ及び１３２Ａは、例えば、同じ位相、同じピッチ、及び、同じ方向であってよい。なお、方向とは、例えば、画素アレイ部１０１における単位画素１１０（フォトダイオードＰＤの受光面）の配列面上であって、行列状に配列する単位画素１１０の行方向に対する傾きの方向であってよい。
【００８１】
また、他の単位画素１１０Ｂに設けられた畳み込みフィルタ１３０Ｂも同様に、上段（入射光の進路における上流側）に配置された回折格子１３１Ｂと、下段（入射光の進路における下流側）に配置された回折格子１３２Ｂとを備える。
【００８２】
回折格子１３１Ｂ及び１３２Ｂは、例えば、同じピッチ、及び、同じ方向であってよい。また、回折格子１３１Ａ及び１３２Ａと回折格子１３１Ｂ及び１３２Ｂとは、同じピッチ、及び、同じ方向であってよい。ただし、回折格子１３１Ｂ及び１３２Ｂの位相は、１８０°ずれている。
【００８３】
また、回折格子１３１Ａ、１３２Ａ、１３１Ｂ及び１３２Ｂの材料には、例えば、タングステン（Ｗ）などの遮光材料を用いることが可能である。ただし、これに限定されず、種々の反射材料や遮光材料を用いることが可能である。
【００８４】
１．１０  畳み込みフィルタアレイの機能例
このように、同じピッチ及び同じ方向の回折格子１３１Ａ及び１３２Ａ又は回折格子１３１Ｂ及び１３２Ｂが所定間隔隔てて上下に配置された畳み込みフィルタ１３０Ａ又は１３０ＢをフォトダイオードＰＤ−Ａ又はＰＤ−Ｂの受光面上に配置することで、回折格子１３１Ａ及び１３２Ａ又は回折格子１３１Ｂ及び１３２Ｂの像をフォトダイオードＰＤ−Ａ又はＰＤ−Ｂの受光面に転写することが可能となる。すなわち、タルボ回折格子を用いることで、それぞれ入射像における所定方向のエッジ成分を選択的に透過させる畳み込みフィルタ１３０Ａ及び１３０Ｂを構成することが可能となる。
【００８５】
その際、フォトダイオードＰＤ−Ａ又はＰＤ−Ｂの受光面に結像される像は、入射像の光の濃淡に影響される。そのため、フォトダイオードＰＤ−Ａ又はＰＤ−Ｂの受光面には、入射像のうち、回折格子１３１Ａ及び１３２Ａ又は回折格子１３１Ｂ及び１３２Ｂの向きと同じ向きの成分であって、回折格子１３１Ａ及び１３２Ａ又は回折格子１３１Ｂ及び１３２Ｂのピッチと同じ周期（以下、周波数ともいう）の成分（以下、エッジ成分という）が結像される。
【００８６】
したがって、例えば、図１０に示すような、方向が４５°ずつ異なる４つの畳み込みフィルタ１３０−０、１３０−４５、１３０−９０及び１３０−１３５が２×２の行列状に配置された単位パターン（以下、畳み込みフィルタユニットという）１３３が繰り返される畳み込みフィルタアレイ１２２を用いた場合には、行方向に対して０°傾いた（すなわち、行方向と平行な）エッジ成分と、４５°傾いたエッジ成分と、９０°傾いたエッジ成分と、１３５°傾いたエッジ成分とをバイナリデータとして取得することが可能となる。
【００８７】
このような特性を備える畳み込みフィルタ１３０で構成された畳み込みフィルタアレイ１２２は、ガボールフィルタと同様の機能を果たすことができる。すなわち、本実施形態では、タルボ回折を利用した畳み込みフィルタ１３０Ａ及び１３０Ｂを用いて、ガボールフィルタを物理的に実現している。
【００８８】
そして、ガボールフィルタとして機能する畳み込みフィルタアレイ１２２を入射像に対して配置することで、例えば、ガボールフィルタを用いた光学的畳み込み演算の結果（バイナリデータ）を直接的に取得することが可能となる。それにより、例えば、ＣＮＮにおける第１層の畳み込み層を省略して第２層のプーリング層から実行することが可能となるため、より高速な画像認識処理を実行することが可能となる。
【００８９】
なお、一方の畳み込みフィルタ１３０Ａの位相を同相とし、他方の畳み込みフィルタ１３０Ｂの位相を逆相とし、それぞれの単位画素１１０Ａ及び１１０Ｂから得られた画素値を引き算することで、光学的畳み込み演算の結果として得られる画素値（バイナリデータ）からＤＣ（Direct  Current）成分（定数成分ともいう）を除去することが可能である。ただし、エッジ成分からＤＣ成分を除去することは必須の構成ではない。
【００９０】
また、ＤＣ成分を除去する場合でも、畳み込みフィルタ１３０Ａが設けられた単位画素１１０Ａと畳み込みフィルタ１３０Ｂが設けられた単位画素１１０Ｂとは必ずしも隣接している必要はない。
【００９１】
１．１１  畳み込みフィルタアレイのパターンと周波数スペクトルとの関係
ここで、本実施形態に係る畳み込みフィルタアレイ１２２のパターンと周波数スペクトルとの関係について、図面を用いて説明する。
【００９２】
図１１は、一実施形態に係る畳み込みフィルタアレイで取得されるエッジ成分の周波数スペクトルの一例を示す図である。図１２は、図１１に示す周波数スペクトルのエッジ成分を取得することが可能な畳み込みフィルタアレイを構成する畳み込みフィルタユニットの一例を示す模式図である。
【００９３】
図１１において、横軸は行方向の周波数ｆｘを示し、縦軸は列方向の周波数ｆｙを示している。図１１に示す例では、＃１〜＃２５の計２５種類の異なるエッジ成分が取得される。
【００９４】
図１１と図１２とで、符号＃１〜＃２５は対応している。したがって、図１１に示す周波数スペクトルを得るためには、図１２に示すように、畳み込みフィルタアレイ１２２は、２５つの異なる畳み込みフィルタ１３０（＃１〜＃２５）で構成される。
【００９５】
図１１において、エッジ成分＃１３は、例えば、ＤＣ成分であってよい。その場合、エッジ成分＃１３には、方向の情報と周波数の情報とが含まれていない。このようなエッジ成分＃１３を取得するための畳み込みフィルタ１３０（＃１３）は、図１２に示すように、回折格子を備えない空の領域で構成される。
【００９６】
図１１において、エッジ成分＃７、＃８、＃９、＃１２、＃１４、＃１７、＃１８及び＃１９は、例えば、低周波のエッジ成分であってよい。その場合、エッジ成分＃７、＃８、＃９、＃１２、＃１４、＃１７、＃１８及び＃１９を取得するための畳み込みフィルタ１３０（＃７、＃８、＃９、＃１２、＃１４、＃１７、＃１８及び＃１９）を構成する回折格子のピッチは、図１２に示すように、広く設定される。本説明では、このピッチを第１ピッチという。
【００９７】
図１１において、エッジ成分＃１、＃３、＃５、＃１１、＃１５、＃２１、＃２３及び＃２５は、例えば、第１ピッチよりも狭い高周波のエッジ成分であってよい。その場合、エッジ成分＃１、＃３、＃５、＃１１、＃１５、＃２１、＃２３及び＃２５を取得するための畳み込みフィルタ１３０（＃１、＃３、＃５、＃１１、＃１５、＃２１、＃２３及び＃２５）を構成する回折格子のピッチは、図１２に示すように、第１ピッチよりも狭い第２ピッチに設定される。
【００９８】
図１１において、エッジ成分＃２、＃４、＃６、＃１０、＃１６、＃２０、＃２２及び＃２４は、例えば、第１ピッチと第２ピッチとの中間の周波数のエッジ成分であってよい。その場合、エッジ成分＃２、＃４、＃６、＃１０、＃１６、＃２０、＃２２及び＃２４を取得するための畳み込みフィルタ１３０（＃２、＃４、＃６、＃１０、＃１６、＃２０、＃２２及び＃２４）を構成する回折格子のピッチは、図１２に示すように、第１ピッチと第２ピッチとの中間の第３ピッチに設定される。
【００９９】
また、図１１において、エッジ成分＃３、＃８、＃１８及び＃２３は、行方向と平行な（傾きθ＝０°）エッジ成分であってよい。その場合、エッジ成分＃３、＃８、＃１８及び＃２３を取得するための畳み込みフィルタ１３０（＃３、＃８、＃１８及び＃２３）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、０°であってよい。
【０１００】
図１１において、エッジ成分＃１１、＃１２、＃１４及び＃１５は、行方向と垂直な（傾きθ＝９０°）エッジ成分であってよい。その場合、エッジ成分＃１１、＃１２、＃１４及び＃１５を取得するための畳み込みフィルタ１３０（＃１１、＃１２、＃１４及び＃１５）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、９０°であってよい。
【０１０１】
図１１において、エッジ成分＃５、＃９、＃１７及び＃２１は、行方向に対して４５°傾いたエッジ成分であってよい。その場合、エッジ成分＃５、＃９、＃１７及び＃２１を取得するための畳み込みフィルタ１３０（＃５、＃９、＃１７及び＃２１）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、４５°であってよい。
【０１０２】
図１１において、エッジ成分＃１、＃７、＃１９及び＃２５は、行方向に対して１３５°傾いたエッジ成分であってよい。その場合、エッジ成分＃１、＃７、＃１９及び＃２５を取得するための畳み込みフィルタ１３０（＃１、＃７、＃１９及び＃２５）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、１３５°であってよい。
【０１０３】
図１１において、エッジ成分＃１０及び＃１６は、行方向に対して２２．５°傾いたエッジ成分であってよい。その場合、エッジ成分＃１０及び＃１６を取得するための畳み込みフィルタ１３０（＃１０及び＃１６）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、２２．５°であってよい。
【０１０４】
図１１において、エッジ成分＃４及び＃２２は、行方向に対して６７．５°傾いたエッジ成分であってよい。その場合、エッジ成分＃４及び＃２２を取得するための畳み込みフィルタ１３０（＃４及び＃２２）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、６７．５°であってよい。
【０１０５】
図１１において、エッジ成分＃２及び＃２４は、行方向に対して１１２．５°傾いたエッジ成分であってよい。その場合、エッジ成分＃２及び＃２４を取得するための畳み込みフィルタ１３０（＃２及び＃２４）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、１１２．５°であってよい。
【０１０６】
図１１において、エッジ成分＃６及び＃２０は、行方向に対して１５７．５°傾いたエッジ成分であってよい。その場合、エッジ成分＃６及び＃２０を取得するための畳み込みフィルタ１３０（＃６及び＃２０）を構成する回折格子の行方向に対する傾きθは、図１２に示すように、１５７．５°であってよい。
【０１０７】
このように、本実施形態では、回折格子のピッチ及び方向が異なる複数種類の畳み込みフィルタ１３０を用いて畳み込みフィルタアレイ１２２が構成されている。それにより、方向及び周波数の異なる複数種類のエッジ成分のバイナリデータを一度の撮像で取得することが可能となる。
【０１０８】
なお、図１１に示す周波数スペクトルにおいて、エッジ成分＃１４〜＃２５は、エッジ成分＃１〜＃１２と実質的に重複している。したがって、エッジ成分＃１４〜＃２５又はエッジ成分＃１〜＃１２のいずれかを取得しないように構成することも可能である。その場合、図１２に示す畳み込みフィルタアレイ１２２における＃１４〜＃２５又は＃１〜＃１２の畳み込みフィルタ１３０を省略することが可能である。
【０１０９】
若しくは、より他種類のエッジ成分を取得するために、＃１４〜＃２５の畳み込みフィルタ１３０それぞれを構成する回折格子のピッチ及び／又は方向を、＃１〜＃１２の畳み込みフィルタ１３０それぞれを構成する回折格子のピッチ及び／又は方向と異なるものとしてもよい。そのような畳み込みフィルタアレイ１２２は、例えば、中央に位置するＤＣ成分を取得するための空の畳み込みフィルタ１３０（＃１３）の中心を軸とした点対称とはならないように構成することで実現することができる。
【０１１０】
又は、畳み込みフィルタ１３０を構成する回折格子を液晶などの制御可能な光学素子で構成することで、そのピッチ及び方向を動的に変更可能な畳み込みフィルタ１３０よりなる畳み込みフィルタアレイ１２２を構成してもよい。
【０１１１】
１．１２  組合せフィルタの構成例
本実施形態では、上述した畳み込みフィルタアレイ１２２と、カラーフィルタアレイ１２３とを組み合わせることで、ＲＧＢ三原色の色成分ごとに、畳み込みフィルタ１３０の種類数分のエッジ成分を取得する。なお、以下の説明では、畳み込みフィルタ１３０とフォトダイオードＰＤとが一対一に対応付けられていることを前提とする。
【０１１２】
図１３は、一実施形態に係る畳み込みフィルタアレイとカラーフィルタアレイとを組み合わせた組合せフィルタの概略構成例を示す平面図である。図１４は、一実施形態に係るイメージセンサが生成するフレームデータの一例を示す図である。
【０１１３】
図１３に示すように、カラーフィルタアレイ１２３は、例えば、４つのカラーフィルタ１５１Ｒ、１５１Ｇ及び１５１Ｂで構成されたベイヤー配列のカラーフィルタユニット１５２が行列状に配列した構成を備える。
【０１１４】
畳み込みフィルタアレイ１２２を構成する各畳み込みフィルタ１３０は、カラーフィルタアレイ１２３の各カラーフィルタユニット１５２に対して一対一に配置される。したがって、組合せフィルタの単位パターン（以下、組合せフィルタユニットという）１５４では、＃１〜＃２５の計２５つの畳み込みフィルタ１３０で構成された畳み込みフィルタユニット１３３に対して、計２５つのカラーフィルタユニット１５２が組み合わされている。
【０１１５】
このような構成によれば、図１４に示すように、イメージセンサ１００では、ＲＧＢ三原色の色成分ごとに、２５種類のエッジ成分よりなるフレームデータ５０Ｒ、５０Ｇ及び５０Ｂが生成される。
【０１１６】
なお、図１４において、Ｋはチャネル数であり、本説明では、ＲＧＢ三原色の色成分の数、すなわち、‘３’である。また、Ｗは、色成分ごとにイメージセンサ１００で生成されるフレームデータ５０Ｒ、５０Ｇ及び５０Ｂの画素数である。例えば、イメージセンサ１００のカラーフィルタアレイ１２３が５０×５０の計２５００つのカラーフィルタユニット１５２で構成されている場合、Ｗは‘５０’となる。なお、図１４では、各フレームデータ５０Ｒ、５０Ｇ及び５０ＢをＷ×Ｗの矩形としているが、矩形であることは必須ではない。
【０１１７】
１．１２．１  組合せフィルタの変形例
また、図１３では、１つの畳み込みフィルタ１３０に対して１つのカラーフィルタユニット１５２を組み合わせた場合を例示したが、組合せフィルタの構成は、このような構成に限定されない。図１５は、一実施形態の変形例に係る組合せフィルタの概略構成例を示す平面図である。
【０１１８】
図１５に示すように、本変形例に係る組合せフィルタは、１つのカラーフィルタ１５０に対して、１つの畳み込みフィルタユニット１３３が組み合わされた構成を備える。なお、図１５では、Ｇ成分のカラーフィルタ１５０Ｇに対して畳み込みフィルタユニット１３３を組み合わせて構成されたＧ成分組合せフィルタユニット１５５Ｇが拡大して示されているが、他のＲ成分のカラーフィルタ１５０及びＢ成分のカラーフィルタ１５０に対しても同様に、畳み込みフィルタユニット１３３が組み合わされることで、Ｒ成分組合せフィルタユニット１５５Ｒ及びＢ成分組合せフィルタユニット１５５Ｂが構成されている。
【０１１９】
このような構成によっても、図１３に例示した組合せフィルタと同様に、ＲＧＢ三原色の色成分ごとに、２５種類のエッジ成分よりなるフレームデータ５０Ｒ、５０Ｇ及び５０Ｂを取得することが可能である（図１４参照）。
【０１２０】
１．１３  畳み込み演算の概要（カラーフィルタ無し）
つづいて、畳み込み演算の概要について説明する。図１６は、一実施形態に係る光学的畳み込み演算の概要を説明するための図である。なお、以下では、イメージセンサ１００がカラーフィルタアレイ１２３を備えていない場合の畳み込み演算について説明する。
【０１２１】
図１６に示すように、イメージセンサ１００がカラーフィルタアレイ１２３を備えていない場合、イメージセンサ１００の画素アレイ部１０１における各フォトダイオードＰＤには、畳み込みフィルタアレイ１２２における畳み込みフィルタ１３０の配列に従ったエッジ成分に対応する電荷が蓄積される。したがって、画素アレイ部１０１の全ての単位画素１１０を対象として読出しを行なった場合、畳み込みフィルタ１３０の配列に従ってエッジ成分が配列するフレームデータ９５０が読み出される。
【０１２２】
そこで本実施形態では、例えば、画素アレイ部１０１に対し、畳み込みフィルタ１３０の種類（方向及び周波数）ごとに、読出しを実行する。例えば、畳み込みフィルタ１３０が＃１〜＃２５の計２５種類存在する場合、＃１から順に、計２５回の読出しが実行される。そのような読出し動作により、畳み込みフィルタ１３０の種類ごとの特徴マップ９５４−１〜９５４−２５（バイナリデータ）を、光学的畳み込み演算の結果として読み出すことが可能である。
【０１２３】
なお、フレームデータ９５０から特徴マップ９５４−１〜９５４−２５への畳み込みは、以上のような読出し制御に限られず、例えば、信号処理回路１０８や信号処理部１３やＤＳＰ１４等の外部のデータ処理部又はデータ処理装置で実行されてもよい。
【０１２４】
１．１４  畳み込み演算の概要（カラーフィルタ有り）
つづいて、カラーフィルタアレイ１２３を設けた場合の畳み込み演算の概要について説明する。図１７は、一実施形態に係る光学的畳み込み演算（カラーフィルタ有り）の概要を説明するための図である。
【０１２５】
図１７に示すように、畳み込みフィルタアレイ１２２とカラーフィルタアレイ１２３とを組み合わせた場合、画素アレイ部１０１の各フォトダイオードＰＤには、ＲＧＢ三原色の色成分ごとに、畳み込みフィルタ１３０の種類数分のエッジ成分に対応する電荷が蓄積される。
【０１２６】
そこで本実施形態では、例えば、画素アレイ部１０１に対して、畳み込みフィルタ１３０の種類ごとの読出しが、ＲＧＢ三原色ごとに実行される。例えば、畳み込みフィルタ１３０に＃１〜＃２５の計２５種類存在し、カラーフィルタ１５０がＲＧＢ三原色の３種類存在する場合、まず、Ｒ成分を選択的に透過させるカラーフィルタ１５０を備える単位画素１１０に対して＃１の畳み込みフィルタ１３０を備える単位画素１１０から順に計２５回の読出しが実行され、次に、Ｇ成分を選択的に透過させるカラーフィルタ１５０を備える単位画素１１０に対して＃１の畳み込みフィルタ１３０を備える単位画素１１０から順に計２５回の読出しが実行され、最後に、Ｂ成分を選択的に透過させるカラーフィルタ１５０を備える単位画素１１０に対して＃１の畳み込みフィルタ１３０を備える単位画素１１０から順に計２５回の読出しが実行される。なお、ＲＧＢの各成分に対する読出し順序及び＃１〜＃２５の畳み込みフィルタ１３０を備える単位画素１１０に対する読出し順序は、単なる一例である。
【０１２７】
そのような読出し動作により、畳み込みフィルタ１３０の種類ごとの特徴マップ５４−１〜５４−２５（バイナリデータ）を、ＲＧＢ三原色の色成分ごとに、光学的畳み込み演算の結果として読み出すことが可能となる。
【０１２８】
１．１４．１  畳み込み演算の変形例
なお、フレームデータ５０から色成分ごとの特徴マップ５４−１〜５４−２５への畳み込みは、以上のような、画素アレイ部１０１から直接特徴マップ５４−１〜５４−２５を読み出す方法に限定されず、例えば、信号処理回路１０８や信号処理部１３やＤＳＰ１４等で実行されてもよい。その際、信号処理回路１０８や信号処理部１３やＤＳＰ１４等の外部のデータ処理部又はデータ処理装置は、画素アレイ部１０１から読み出されたフレームデータ５０に対してデモザイク処理を実行して、色成分ごとのフレームデータを作成してもよい。
【０１２９】
図１８〜図２１は、一実施形態の変形例に係る畳み込み演算の概要を説明するための図である。なお、以下の説明では、信号処理回路１０８がデモザイク処理を実行する場合を例に挙げる。
【０１３０】
信号処理回路１０８は、まず、図１８に示すように、画素アレイ部１０１より読み出されたフレームデータ５０から、Ｒ成分の波長を選択的に透過させるカラーフィルタ１５０を備える単位画素１１０から読み出された画素信号を抽出することで、Ｒ成分の画素信号よりなるフレームデータ５０Ｒを生成する。なお、このデモザイク処理により、フレームデータ５０Ｒの解像度は、カラーフィルタユニット１５２単位の解像度に低減される。
【０１３１】
つづいて、信号処理回路１０８は、図１９に示すように、画素アレイ部１０１より読み出されたフレームデータ５０から、Ｇ成分の波長を選択的に透過させるカラーフィルタ１５０を備える単位画素１１０から読み出された画素信号を抽出することで、Ｇ成分の画素信号よりなるフレームデータ５０Ｇを生成する。なお、このデモザイク処理により、フレームデータ５０Ｇの解像度も、カラーフィルタユニット１５２単位の解像度に低減される。
【０１３２】
そして、信号処理回路１０８は、図２０に示すように、画素アレイ部１０１より読み出されたフレームデータ５０から、Ｂ成分の波長を選択的に透過させるカラーフィルタ１５０を備える単位画素１１０から読み出された画素信号を抽出することで、Ｂ成分の画素信号よりなるフレームデータ５０Ｂを生成する。なお、このデモザイク処理により、フレームデータ５０Ｂの解像度も、カラーフィルタユニット１５２単位の解像度に低減される。
【０１３３】
このように、ＲＧＢ三原色の色成分ごとのフレームデータ５０Ｒ、５０Ｇ及び５０Ｂを生成すると、次に、信号処理回路１０８は、図２１に示すように、各フレームデータ５０Ｒ、５０Ｇ及び５０Ｂのうち、同一のカラーフィルタユニット１５２に含まれる単位画素１１０から読み出された画素信号を合算することを、畳み込みフィルタ１３０の種類ごとに実行することで、畳み込みフィルタ１３０の種類ごとの特徴マップ５４−１〜５４−２５（バイナリデータ）を、光学的畳み込み演算の結果として生成する。
【０１３４】
１．１５  作用・効果
以上のように、本実施形態によれば、畳み込み演算を物理的な構成である畳み込みフィルタアレイ１２２を用いて実行することが可能となる。それにより、例えば、ＣＮＮにおける第１層の畳み込み層を省略して第２層のプーリング層から実行することが可能となるため、より高速な画像認識処理を実行することが可能となる。
【０１３５】
また、本実施形態では、例えば、ＲＧＢ三原色の色成分に対応する複数チャネルに対して畳み込み演算を実行することが可能となる。このように、複数チャネルを入力とすることで、より精度の高い画像認識処理を実行することが可能となる。
【０１３６】
２．移動体への応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１３７】
図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１３８】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【０１３９】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１４０】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１４１】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１４２】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１４３】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１４４】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行うことができる。
【０１４５】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１４６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１４７】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１４８】
図２３は、撮像部１２０３１の設置位置の例を示す図である。
【０１４９】
図２３では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【０１５０】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１５１】
なお、図２３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１５２】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１５３】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１５４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１５５】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１５６】
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【０１５７】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【０１５８】
さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
【０１５９】
なお、本技術は以下のような構成も取ることができる。
（１）
それぞれ入射像における所定方向のエッジ成分を透過させる複数の第１フィルタと、
それぞれ入射光における所定の波長帯の光を透過させる複数の第２フィルタと、
それぞれ前記複数の第１フィルタのうちの１つと前記複数の第２フィルタのうちの１つとを透過した光を光電変換する複数の光電変換素子と、
を備える受光デバイス。
（２）
前記第１フィルタそれぞれは、回折格子を含む前記（１）に記載の受光デバイス。
（３）
前記第１フィルタそれぞれは、タルボ回折格子である前記（１）又は（２）に記載の受光デバイス。
（４）
前記複数の第１フィルタは、ガボールフィルタである前記（１）〜（３）の何れか１項に記載の受光デバイス。
（５）
前記第１フィルタは、第１方向のエッジ成分を透過させる第３フィルタと、前記第１方向とは異なる第２方向のエッジ成分を透過させる第４フィルタとを含み、
前記第２フィルタは、第１波長帯の光を透過させる少なくとも２つの第５フィルタと、前記第１波長帯とは異なる第２波長帯の光を透過させる少なくとも２つの第６フィルタとを含み、
前記第５フィルタのうちの１つと前記第６フィルタのうちの１つとは、前記第３フィルタに対応付けられ、
前記第５フィルタのうちの他の１つと前記第６フィルタのうちの他の１つとは、前記第４フィルタに対応付けられている
前記（１）〜（４）の何れか１項に記載の受光デバイス。
（６）
前記第１フィルタは、第１方向のエッジ成分を透過させる少なくとも２つの第３フィルタと、前記第１方向とは異なる第２方向のエッジ成分を透過させる少なくとも２つの第４フィルタとを含み、
前記第２フィルタは、第１波長帯の光を透過させる第５フィルタと、前記第１波長帯とは異なる第２波長帯の光を透過させる第６フィルタとを含み、
前記第３フィルタのうちの１つと前記第４フィルタのうちの１つとは、前記第５フィルタに対応付けられ、
前記第３フィルタのうちの他の１つと前記第４フィルタのうちの他の１つとは、前記第６フィルタに対応付けられている
前記（１）〜（４）の何れか１項に記載の受光デバイス。
（７）
前記第１フィルタそれぞれは、前記光電変換素子と一対一に対応付けられている前記（１）〜（６）の何れか１項に記載の受光デバイス。
（８）
前記入射光の一部を前記光電変換素子のいずれかに集光するオンチップレンズをさらに備える前記（１）〜（７）の何れか１項に記載の受光デバイス。
（９）
前記第１フィルタは、前記光電変換素子と前記オンチップレンズとの間に位置する前記（８）に記載の受光デバイス。
（１０）
前記第２フィルタは、前記光電変換素子と前記第１フィルタとの間、又は、前記第１フィルタと前記オンチップレンズとの間に位置する前記（９）に記載の受光デバイス。
（１１）
前記（１）〜（１０）の何れか１項に記載の受光デバイスと、
前記光電変換素子それぞれに蓄積された電荷の電荷量に応じた電圧値の画素信号を読み出す画素回路と、
を備える固体撮像装置。
（１２）
前記（１１）に記載の固体撮像装置と、
前記固体撮像装置から出力されたデータに対して所定の処理を実行するデータ処理部と、
を備える電子機器。
（１３）
前記データ処理部は、前記固体撮像装置から読み出された前記データに対して学習済みモデルを用いた機械学習処理を実行する前記（１２）に記載の電子機器。
（１４）
前記データ処理部は、ＣＮＮ（Convolution  Neural  Network）における第２層のプーリング層以降を実行する前記（１３）に記載の電子機器。
（１５）
前記（１２）〜（１４）の何れか１項に記載の電子機器と、
前記電子機器と所定のネットワークを介して接続されたデータ処理装置と、
を備える情報処理システム。
（１６）
前記データ処理装置は、ＣＮＮにおける第２層のプーリング層以降を実行する前記（１５）に記載の電子機器。
【符号の説明】
【０１６０】
１  電子機器
１０  撮像装置
１１  撮像部
１１ａ  光学系
１２  コントロール部
１３  信号処理部
１４  ＤＳＰ
１５  メモリ
１６  出力部
２０  アプリケーションプロセッサ
３０  クラウドサーバ
４０  ネットワーク
５０、５０Ｒ、５０Ｇ、５０Ｂ、９５０、１０５０  フレームデータ
５１  フィルタ
５４、５４−１〜５４−２５、９５４−１〜９５４−２５  特徴マップ
１００、１００Ａ  固体撮像装置（イメージセンサ）
１０１  画素アレイ部
１０２  垂直駆動回路
１０３  カラム処理回路
１０４  水平駆動回路
１０５  システム制御部
１０８  信号処理回路
１０９  データ格納部
１１０、１１０Ａ、１１０Ｂ  単位画素
１１１  転送トランジスタ
１１２  リセットトランジスタ
１１３  増幅トランジスタ
１１４  選択トランジスタ
１２１  半導体チップ
１２２  畳み込みフィルタアレイ
１２３  カラーフィルタアレイ
１２４  マイクロレンズアレイ
１３０、１３０Ａ、１３０Ｂ、１３０−０、１３０−４５、１３０−９０、１３０−１３５  畳み込みフィルタ
１３１Ａ、１３１Ｂ、１３２Ａ、１３２Ｂ  回折格子
１３３  畳み込みフィルタユニット
１５０、１５１Ｒ、１５１Ｇ、１５１Ｂ  カラーフィルタ
１５２  カラーフィルタユニット
１５４  組合せフィルタユニット
１５５Ｒ、１５５Ｇ、１５５Ｂ  組合せフィルタユニット
１６０  オンチップレンズ
ＬＤ  画素駆動線
ＬＤ１１１  転送トランジスタ駆動線
ＬＤ１１２  リセットトランジスタ駆動線
ＬＤ１１４  選択トランジスタ駆動線
ＰＤ、ＰＤ−Ａ、ＰＤ−Ｂ  フォトダイオード
ＶＳＬ  垂直信号線
【図１】
2020191564.tif 000005
【図２】
2020191564.tif 000006
【図３】
2020191564.tif 000007
【図４】
2020191564.tif 000008
【図５】
2020191564.tif 000009
【図６】
2020191564.tif 000010
【図７】
2020191564.tif 000011
【図８】
2020191564.tif 000012
【図９】
2020191564.tif 000013
【図１０】
2020191564.tif 000014
【図１１】
2020191564.tif 000015
【図１２】
2020191564.tif 000016
【図１３】
2020191564.tif 000017
【図１４】
2020191564.tif 000018
【図１５】
2020191564.tif 000019
【図１６】
2020191564.tif 000020
【図１７】
2020191564.tif 000021
【図１８】
2020191564.tif 000022
【図１９】
2020191564.tif 000023
【図２０】
2020191564.tif 000024
【図２１】
2020191564.tif 000025
【図２２】
2020191564.tif 000026
【図２３】
2020191564.tif 000027