(57)【要約】【課題】より少ないリソースで画像処理を実行する。【解決手段】撮像素子は、光を電荷に変換する光電変換部および光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、画素から画素信号を読み出す駆動を行う駆動部と、駆動部の駆動に従って画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う画像処理部を備える。本技術は、例えば、ロジック回路を備えた撮像素子に適用できる。【選択図】図１
2017017624.tif 000002
【特許請求の範囲】
【請求項１】
光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、
前記画素から画素信号を読み出す駆動を行う駆動部と、
前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う画像処理部
を備える撮像素子。
【請求項２】
前記画像処理部は、
前記画素領域から複数回読み出される前記画素信号を用いて、複数回の前処理を行う前処理部と、
前記前処理部による処理結果を保持する保持部と、
前記保持部に保持されている処理結果、および、前記画素領域から読み出される前記画素信号を用いた後処理を行う後処理部と
を有する
請求項１に記載の撮像素子。
【請求項３】
前記画素内メモリ部は、前記電荷を画素信号に変換する変換部として用いられる浮遊拡散領域である
請求項１に記載の撮像素子。
【請求項４】
前記画素内メモリ部は、前記浮遊拡散領域と前記光電変換部の間に設けられる電荷保持部である
請求項１に記載の撮像素子。
【請求項５】
光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、前記画素から画素信号を読み出す駆動を行う駆動部とを備える撮像素子の画像処理方法であって、
前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う
画像処理方法。
【請求項６】
光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、
前記画素から画素信号を読み出す駆動を行う駆動部と、
前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う画像処理部
を有する撮像素子を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像素子、画像処理方法、および電子機器に関し、特に、より少ないリソースで画像処理を実行することができるようにした撮像素子、画像処理方法、および電子機器に関する。
【背景技術】
【０００２】
一般的に、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を備える撮像装置では、被写体からの光を光学系で集光し、撮像素子のセンサ面に結像することで被写体を撮像する。撮像素子は、光電変換を行うＰＤ（photodiode：フォトダイオード）と複数のトランジスタとが組み合わされた画素を有しており、被写体の像が結像する像面に配置された複数の画素から出力される画素信号に基づいて画像が構築される。
【０００３】
また、近年、撮像素子の高機能化が求められており、ロジック回路を組み込むことにより、画像認識処理などを行うことができる撮像素子の開発が進められている。例えば、撮像素子において行われる画像認識処理として、撮像画像に写されている顔を検出する顔検出処理（非特許文献１参照）や、顔画像からその人の属性（性別や年齢など）を検知する顔属性検知処理（非特許文献２参照）などが想定される。
【０００４】
ところで、ある画像に対して画像認識処理を実行する際、複数段階の処理が組み合わされていることが多い。例えば、まず画像を読み込んでそこから何らかの情報を抽出し、次にもう一度画像を読み込んで最初に抽出した情報と再び読み込んだ画像から別の情報を抽出する、といった複数段階の処理が行われる。
【０００５】
しかしながら、撮像素子の内部で画像認識処理を実行する場合、画像データは画面左上の画素からラスタスキャン順で順次読みだされ、パイプラインで後段ロジックに流れていく構造になっているため、通常一度読みだしたデータを、再度使用することはできない構造となっている。そのため、例えば、イメージセンサのロジック回路に、１フレーム分の画像を保存するフレームメモリを備える構造とすることで、同じ画像を複数段階の処理で使用することができるが、一般的に、そのようなメモリ領域を備えると撮像素子の回路規模が大きくなってしまう。例えば、撮像素子のロジック回路に、１フレーム分の画像を保存するフレームメモリを備えた場合には、製造コストが増加するだけでなく、消費電力も増大してしまう。
【０００６】
例えば、特許文献１には、グローバルシャッタ画素をメモリとして使用することで、２パス処理を可能とした撮像装置が開示されている。この撮像装置では、グローバルシャッタ画素を、複数の垂直同期期間をまたがって画像読出しを行うために用いており、同じ露光タイミングで複数回の処理が行われるということはない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−１６５１９３号公報
【非特許文献】
【０００８】
【非特許文献１】Viola, etal., “Rapid object detection using a boosted cascade of simple features”, Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition
【非特許文献２】Kumar, etal., “Attribute and Simile Classifiers for Face Verification”, 2009 IEEE 12th International Conference on Computer Vision
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したように、複数段階の処理が組み合わされた画像処理を撮像素子の内部で実行することは困難であり、このような画像処理を少ないリソースで実行することが求められている。
【００１０】
本開示は、このような状況に鑑みてなされたものであり、より少ないリソースで画像処理を実行することができるようにするものである。
【課題を解決するための手段】
【００１１】
本開示の一側面の撮像素子は、光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、前記画素から画素信号を読み出す駆動を行う駆動部と、前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う画像処理部を備える。
【００１２】
本開示の一側面の画像処理方法は、光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、前記画素から画素信号を読み出す駆動を行う駆動部とを備える撮像素子の画像処理方法であって、前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う。
【００１３】
本開示の一側面の電子機器は、光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、前記画素から画素信号を読み出す駆動を行う駆動部と、前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う画像処理部を有する撮像素子を備える。
【００１４】
本開示の一側面においては、撮像素子は、光を電荷に変換する光電変換部および光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、画素から画素信号を読み出す駆動を行う駆動部とを備える。そして、駆動部の駆動に従って画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理が行われる。
【発明の効果】
【００１５】
本開示の一側面によれば、より少ないリソースで画像処理を実行することができる。
【図面の簡単な説明】
【００１６】
【図１】撮像素子の第１の実施の形態の構成例を示すブロック図である。
【図２】画素の第１の構成例を示す図である。
【図３】顔属性を検知する画像認識処理を説明するフローチャートである。
【図４】撮像素子の第２の実施の形態の構成例を示すブロック図である。
【図５】動体領域特定処理について説明する図である。
【図６】動体領域の求め方を説明する図である。
【図７】周辺画素について説明する図である。
【図８】動体トラッキング処理について説明する図である。
【図９】動体トラッキングを行う画像認識処理を説明するフローチャートである。
【図１０】画素の第２の構成例を示す図である。
【図１１】本技術を適用した電子機器の一実施の形態の構成例を示すブロック図である。
【図１２】イメージセンサを使用する使用例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
＜撮像素子の第１の実施の形態＞
【００１９】
図１は、本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。
【００２０】
図１に示すように、撮像素子１１は、画素領域１２、垂直走査回路１３、カラム信号処理回路１４、水平走査回路１５、出力回路１６、制御回路１７、およびロジック回路１８を備えて構成される。
【００２１】
画素領域１２は、図示しない光学系により集光される光を受光する受光面である。画素領域１２には、複数の画素２１が行列状に配置されており、それぞれの画素２１は、水平信号線２２を介して行ごとに垂直走査回路１３に接続されるとともに、垂直信号線２３を介して列ごとにカラム信号処理回路１４に接続される。複数の画素２１は、それぞれ受光する光の光量に応じたレベルの画素信号を出力し、それらの画素信号から、画素領域１２に結像する被写体の画像が構築される。
【００２２】
垂直走査回路１３は、画素領域１２に配置される複数の画素２１の行ごとに順次、それぞれの画素２１を駆動（転送や、選択、リセットなど）するための駆動信号を、水平信号線２２を介して画素２１に供給する。
【００２３】
カラム信号処理回路１４は、複数の画素２１から垂直信号線２３を介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。
【００２４】
水平走査回路１５は、画素領域１２に配置される複数の画素２１の列ごとに順次、カラム信号処理回路１４から画素信号をデータ出力信号線２４に出力させるための駆動信号を、カラム信号処理回路１４に供給する。
【００２５】
出力回路１６は、水平走査回路１５の駆動信号に従ったタイミングでカラム信号処理回路１４からデータ出力信号線２４を介して供給される画素信号を、所定のレベルまで増幅して出力する。
【００２６】
制御回路１７は、撮像素子１１を構成する各ブロックの駆動周期に従ったクロック信号を生成して供給することで、それらの各ブロックの駆動を制御する。
【００２７】
ロジック回路１８は、例えば、画素２１が形成される半導体基板に対して積層される半導体基板に形成され、出力回路１６を介して供給される画素信号に対して、様々な画像処理を行うことができる。例えば、図１には、顔属性を検知する画像認識処理を行うロジック回路１８の構成例が示されており、図示するように、ロジック回路１８は、顔検出処理部３１、認識結果保持メモリ３２、および顔属性検知処理部３３を有している。
【００２８】
顔検出処理部３１は、顔属性検知処理部３３において顔属性を検知するために必要な前処理として、撮像素子１１により撮像された撮像画像に写されている顔を検出する顔検出処理を行う。例えば、顔検出処理部３１は、既に提案されている様々な顔の検出方法を用いることができ、具体的には、上述した非特許文献１で提案されている方法を用いることができる。
【００２９】
認識結果保持メモリ３２は、顔検出処理部３１が顔検出処理を行った結果得られる認識結果として顔検出情報（例えば、顔が写されている矩形領域の位置および大きさ）を保持する。
【００３０】
顔属性検知処理部３３は、認識結果保持メモリ３２に保持されている認識結果を読み出し、撮像素子１１により撮像された撮像画像に写されている顔の属性を検知する顔属性検知処理を行う。例えば、顔属性検知処理部３３は、既に提案されている様々な顔属性の検知方法を用いることができ、具体的には、上述した非特許文献２で提案されている方法を用いることができる。そして、顔属性検知処理部３３は、顔属性検知処理を行った結果得られる顔属性情報（例えば、顔から求められた性別や年齢など）を、図示しない後段のブロックに出力する。
【００３１】
ここで、撮像素子１１は、図示するように、１行の画素２１に対して２本の水平信号線２２−１および２２−２が配置されており、例えば、水平信号線２２−１は奇数行の画素２１に接続され、水平信号線２２−２は偶数行の画素２１に接続される。従って、垂直走査回路１３は、奇数行および偶数行それぞれから異なるタイミングで、画素信号を読み出すように画素２１を駆動することができる。
【００３２】
例えば、垂直走査回路１３は、縦×横が２×２で配置された４つの画素２１に対して、奇数列の奇数行の画素２１から画素信号の読み出しを行い、偶数列の奇数行の画素２１から画素信号の読み出しを行い、奇数列の偶数行の画素２１から画素信号の読み出しを行い、偶数列の偶数行の画素２１から画素信号の読み出しを行うような駆動を行うことができる。従って、ロジック回路１８は、奇数列の奇数行の画素２１の画素信号に基づいた撮像画像、奇数列の偶数行の画素２１の画素信号に基づいた撮像画像、偶数列の奇数行の画素２１の画素信号に基づいた撮像画像、および、偶数列の偶数行の画素２１の画素信号に基づいた撮像画像に対する画像認識処理を行うことができる。
【００３３】
即ち、撮像素子１１では、縦方向および横方向に１画素ずつ間引いて画素信号を読み出すことにより、縦方向および横方向に１／２サイズの４枚の画像を取り出すことができ、それらの４枚の画像を用いて顔検出処理および顔属性検知処理が行われる。なお、これらの画像は、正確には同一ではないが、自然画像において大部分の隣接画素の画素値は高い相関があることが公知であり、撮像素子１１において行われる画像認識処理では、同じ画素とみなすことができる。
【００３４】
このように、撮像素子１１は、画素２１の配置位置に応じて複数回の画素信号の読み出しを行い、ロジック回路１８において複数回の処理が必要な画像認識処理を行うことができる。従って、ロジック回路１８に供給される４枚の撮像画像のうち、３枚の撮像画像を用いて顔検出処理部３１が顔のサイズごとに３回の顔検出処理を行うことができ、１枚の撮像画像を用いて顔属性検知処理部３３が顔属性検知処理を行うことができる。
【００３５】
例えば、顔検出処理部３１は、奇数列の奇数行の画素２１の画素信号に基づいた撮像画像を用いて、撮像画像から大サイズの顔を検出する第１の顔検出処理を行う。同様に、顔検出処理部３１は、偶数列の奇数行の画素２１の画素信号に基づいた撮像画像を用いて、撮像画像から中サイズの顔を検出する第２の顔検出処理を行い、奇数列の偶数行の画素２１の画素信号に基づいた撮像画像を用いて、撮像画像から小サイズの顔を検出する第３の顔検出処理を行う。そして、顔属性検知処理部３３は、偶数列の偶数行の画素２１の画素信号に基づいた撮像画像を用いて、顔属性検知処理を行う。
【００３６】
このように、撮像素子１１は、撮像画像を複数回に分けてロジック回路１８に供給し、ロジック回路１８において複数回の処理を行う画像認識処理の認識結果として、顔属性検知処理部３３により検知された顔属性を出力することができる。なお、例えば、撮像素子１１は、画像認識処理を行った認識結果のみを出力し、画像そのものの出力を必要としないシステムに使用することができる。例えば、撮像素子１１を監視システムに使用する場合、顔が写された画像そのものは出力されずに顔属性のみ出力するため、プライバシーの保護を図ることができる。
【００３７】
＜画素２１の第１の構成例＞
【００３８】
図２は、画素２１の第１の構成例を示す図である。
【００３９】
図２に示すように、撮像素子１１は、半導体基板４１、配線層４２、および遮光膜４３が積層されて構成される。また、画素２１は、ＰＤ５１、転送トランジスタ５２、ＦＤ部５３、増幅トランジスタ５４、選択トランジスタ５５、およびリセットトランジスタ５６を備えて構成される。
【００４０】
半導体基板４１には、画素２１ごとに、例えば、Ｐ型のシリコン基板（P-Well）に対して不純物がイオン注入されることによりＰ型領域（Ｐ＋）およびＮ型領域（Ｎ−）が形成され、それらのＰＮ接合によってＰＤ５１が形成される。また、半導体基板４１には、画素２１ごとに、ＰＤ５１から転送トランジスタ５２を介してＦＤ部５３を構成するＮ型領域（Ｎ）が形成され、ＦＤ部５３からリセットトランジスタ５６を介してドレイン電源に接続されるＮ型領域（Ｎ）が形成される。
【００４１】
配線層４２には、絶縁膜を介して半導体基板４１に積層される転送トランジスタ５２およびリセットトランジスタ５６を構成するゲート電極が形成されるとともに、それらのゲート電極に駆動信号を供給する配線が形成される。また、配線層４２には、ＦＤ部５３を構成するＮ型領域と増幅トランジスタ５４を構成するゲート電極とを接続する配線が形成される。
【００４２】
遮光膜４３には、半導体基板４１に形成されるＰＤ５１に照射される光を入射するための開口部４４が形成されており、遮光膜４３は、ＰＤ５１以外の領域への光の照射を遮光する。
【００４３】
このように撮像素子１１の画素２１が構成されており、遮光膜４３の開口部４４を介して入射する光が、光電変換部であるＰＤ５１で光電変換されて、ＰＤ５１に電荷が蓄積される。そして、垂直走査回路１３から供給される転送信号TRXに従って転送トランジスタ５２が駆動し、転送トランジスタ５２がオンになると、ＰＤ５１に蓄積されている電荷がＦＤ部５３に転送される。
【００４４】
ＦＤ部５３は、ＰＤ５１から転送されてくる電荷を一時的に保持する浮遊拡散領域であり、画素２１の内部で画素信号を保持する画素内メモリ部として機能する。また、ＦＤ部５３が増幅トランジスタ５４のゲート電極に接続される構成により、ＦＤ部５３および増幅トランジスタ５４は、ＰＤ５１において発生した電荷を、その電荷に応じたレベルの画素信号に変換する変換部として機能する。
【００４５】
そして、垂直走査回路１３から供給される選択信号SELに従って選択トランジスタ５５が駆動し、選択トランジスタ５５がオンになると、増幅トランジスタ５４が選択トランジスタ５５を介して垂直信号線２３に接続された状態となる。また、垂直走査回路１３から供給されるリセット信号RSTに従ってリセットトランジスタ５６が駆動し、リセットトランジスタ５６がオンになると、ＦＤ部５３に蓄積されている電荷がドレイン電源に排出されて、ＦＤ部５３がリセットされる。
【００４６】
このように画素２１が構成されており、全ての画素２１で同一のタイミングで画素２１からＰＤ５１に電荷を転送し、上述したように、画素２１の配置位置に従って、複数回の画素信号の読み出しを行うことができる。つまり、露光時に各画素２１においてＦＤ部５３に保存された電荷を、水平信号線２２−１および水平信号線２２−２を個別に制御することにより、４位相において別々に読み出すことができる。
【００４７】
例えば、奇数列の奇数行に配置された画素２１から出力される画素信号は第１の顔検出処理に用いられ、偶数列の奇数行に配置された画素２１から出力される画素信号は第２の顔検出処理に用いられる。また、奇数列の偶数行に配置された画素２１から出力される画素信号は第３の顔検出処理に用いられ、偶数列の偶数行に配置された画素２１から出力される画素信号は第１の顔検出処理に用いられる。
【００４８】
次に、図３は、撮像素子１１において顔属性を検知する画像認識処理を説明するフローチャートである。
【００４９】
ステップＳ１１において、全ての画素２１で露光を開始する。即ち、垂直走査回路１３が、全ての画素２１の転送トランジスタ５２に対する転送信号TRXをパルス状にオンにすることで、ＰＤ５１に残留している電荷が転送トランジスタ５２を介してＦＤ部５３に転送されて、ＰＤ５１の露光が開始される。
【００５０】
ステップＳ１２において、全ての画素２１でＦＤ部５３をリセットする。即ち、垂直走査回路１３が、全ての画素２１のリセットトランジスタ５６に対するリセット信号RSTをパルス状にオンにすることで、ＦＤ部５３に蓄積されている電荷がリセットトランジスタ５６を介してドレイン電源に排出されて、ＦＤ部５３の電荷が空になる。
【００５１】
ステップＳ１３において、全ての画素２１でＰＤ５１からＦＤ部５３に電荷を転送する。即ち、垂直走査回路１３が、全ての画素２１の転送トランジスタ５２に対する転送信号TRXをパルス状にオンにすることで、所定の露光時間においてＰＤ５１で光電変換されて蓄積されている電荷が転送トランジスタ５２を介してＦＤ部５３に転送されて、ＦＤ部５３に保存される。
【００５２】
ステップＳ１４において、第１の顔検出処理用の画素２１から画素信号を読み出す。即ち、垂直走査回路１３は、奇数行の画素２１に対して順次、奇数列の水平信号線２２−１に接続される画素２１の選択トランジスタ５５に対する選択信号SELをオンにする。これにより、選択された画素２１の増幅トランジスタ５４が選択トランジスタ５５を介して垂直信号線２３に接続され、画素信号が読み出される。
【００５３】
ステップＳ１５において、顔検出処理部３１は、第１の顔検出処理用の画素２１から読み出された画素信号を用いて第１の顔検出処理を行い、第１の顔検出処理における認識結果である顔検出情報を認識結果保持メモリ３２に保存する。即ち、上述したように、顔検出処理部３１は、第１の顔検出処理において大サイズの顔を検出する。
【００５４】
ステップＳ１６において、第２の顔検出処理用の画素２１から画素信号を読み出す。即ち、垂直走査回路１３は、奇数行の画素２１に対して順次、偶数列の水平信号線２２−２に接続される画素２１の選択トランジスタ５５に対する選択信号SELをオンにする。これにより、選択された画素２１の増幅トランジスタ５４が選択トランジスタ５５を介して垂直信号線２３に接続され、画素信号が読み出される。
【００５５】
ステップＳ１７において、顔検出処理部３１は、第２の顔検出処理用の画素２１から読み出された画素信号を用いて第２の顔検出処理を行い、第２の顔検出処理における認識結果である顔検出情報を認識結果保持メモリ３２に保存する。即ち、上述したように、顔検出処理部３１は、第２の顔検出処理において中サイズの顔を検出する。
【００５６】
ステップＳ１８において、第３の顔検出処理用の画素２１から画素信号を読み出す。即ち、垂直走査回路１３は、偶数行の画素２１に対して順次、奇数列の水平信号線２２−１に接続される画素２１の選択トランジスタ５５に対する選択信号SELをオンにする。これにより、選択された画素２１の増幅トランジスタ５４が選択トランジスタ５５を介して垂直信号線２３に接続され、画素信号が読み出される。
【００５７】
ステップＳ１９において、顔検出処理部３１は、第３の顔検出処理用の画素２１から読み出された画素信号を用いて第３の顔検出処理を行い、第３の顔検出処理における認識結果である顔検出情報を認識結果保持メモリ３２に保存する。即ち、上述したように、顔検出処理部３１は、第３の顔検出処理において小サイズの顔を検出する。
【００５８】
ステップＳ２０において、顔属性検知処理用の画素２１から画素信号を読み出す。即ち、垂直走査回路１３は、偶数行の画素２１に対して順次、偶数列の水平信号線２２−２に接続される画素２１の選択トランジスタ５５に対する選択信号SELをオンにする。これにより、選択された画素２１の増幅トランジスタ５４が選択トランジスタ５５を介して垂直信号線２３に接続され、画素信号が読み出される。
【００５９】
ステップＳ２１において、顔属性検知処理部３３は、認識結果保持メモリ３２に保存されている顔検出情報を読み出し、その顔検出情報に基づいた位置および大きさの顔に対して、顔属性検知処理用の画素２１から読み出された画素信号を用いて顔属性検知処理を行う。そして、顔属性検知処理部３３は、顔属性検知処理における認識結果である顔属性情報を出力する。
【００６０】
以上のように、撮像素子１１は、第１の顔検出処理、第２の顔検出処理、第３の顔検出処理、および顔属性検知処理のように複数段階の処理が組み合わされた画像認識処理を、それぞれの段階の処理で用いる画素信号を適宜読み出すことにより、より効率的に画像処理を実行することができる。
【００６１】
＜撮像素子の第２の実施の形態＞
【００６２】
次に、図４は、本技術を適用した撮像素子の第２の実施の形態の構成例を示すブロック図である。なお、図４に示す撮像素子１１Ａにおいて、図１の撮像素子１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
【００６３】
図４に示すように、撮像素子１１Ａは、画素領域１２、垂直走査回路１３、カラム信号処理回路１４、水平走査回路１５、出力回路１６、および制御回路１７を備えて構成される点で、図１の撮像素子１１と共通の構成とされる。そして、撮像素子１１Ａは、撮像素子１１とは異なるロジック回路１８Ａを備えて構成される。
【００６４】
即ち、撮像素子１１Ａのロジック回路１８Ａは、動体領域特定処理部６１、途中結果保持メモリ６２、および動体トラッキング処理部６３を有して構成され、動体をトラッキングする画像認識処理を行うことができる。
【００６５】
動体領域特定処理部６１は、撮像画像内に存在する動体の領域を特定する動体領域特定処理を行う。
【００６６】
途中結果保持メモリ６２は、動体領域特定処理部６１が動体領域特定処理を行った結果得られる認識結果として動体領域情報（例えば、動体が写されている矩形領域の位置および大きさ）を保持する。
【００６７】
動体トラッキング処理部６３は、途中結果保持メモリ６２に保持されている認識結果を読み出し、撮像素子１１により撮像された撮像画像に写されている動体の時間方向の関連付けをすることで、動体の軌跡を求める動体トラッキング処理を行う。そして、動体トラッキング処理部６３は、動体トラッキング処理を行った結果得られる動体トラッキング情報（例えば、動体を特定するＩＤおよび輪郭座標）を、図示しない後段のブロックに出力する。
【００６８】
ここで、撮像素子１１Ａでは、図１の撮像素子１１と同様に、画素２１の配置位置に応じて複数回の画素信号の読み出しを行い、ロジック回路１８Ａにおいて複数回の処理が必要な画像認識処理を行うことができる。例えば、ロジック回路１８に供給される３枚の撮像画像のうち、２枚の撮像画像を用いて動体領域特定処理部６１が動体領域特定処理を行うことができ、１枚の撮像画像を用いて動体トラッキング処理部６３が動体トラッキング処理を行うことができる。
【００６９】
例えば、動体領域特定処理部６１は、奇数列の奇数行の画素２１の画素信号に基づいた撮像画像を過去フレーム保存用として用い、偶数列の奇数行の画素２１の画素信号に基づいた撮像画像を過去フレームとの差分を求める差分処理用として用いる。これにより、動体領域特定処理部６１は、それらの２つの撮像画像の差分に基づいて、動体領域を特定する動体領域特定処理を行う。そして、動体トラッキング処理部６３は、奇数列の偶数行の画素２１の画素信号に基づいた撮像画像を用いて、動体をトラッキングする動体トラッキング処理を行う。なお、偶数列の偶数行の画素２１の画素信号の読み出しは行われず、その画素２１の画素信号は未使用とされる。
【００７０】
図５乃至図７を参照して、動体領域特定処理部６１による動体領域特定処理について説明する。
【００７１】
図５は、動体領域特定処理の全体的な処理フローを説明する図である。
【００７２】
まず、動体領域特定処理部６１は、過去フレーム保存用の画素２１から読み出される画素信号に基づいた過去画像と、差分処理用の画素２１から読み出される画素信号に基づいた現在画像との輝度値の画素ごとの差分絶対値を計算する。そして、動体領域特定処理部６１は、算出した差分絶対値が所定の閾値以上となった画素を動体画素とする。さらに、動体領域特定処理部６１は、互いに隣接する動体画素をグループ化した塊に外接するような矩形からなる動体領域Ａを特定する。
【００７３】
図６は、動体領域の求め方を説明する図である。
【００７４】
図６では、動体画素にハッチングが施されており、動体領域特定処理部６１は、白抜きの矢印で示すように画面左上から画素をラスタスキャンして動体画素の検出を行う。そして、動体領域特定処理部６１は、動体画素を検出すると、その動体画素の周辺画素において他の動体画素が既に検出されているか否かを判定する。ここで、動体領域特定処理部６１が行う動体領域特定処理における周辺画素は、図７に示すように、ラスタスキャンにより検出された当該画素に対して左上側、上側、右上側、および左側に隣接する画素のことを示す。
【００７５】
例えば、動体領域特定処理部６１は、検出した動体画素の周辺画素に、他の動体画素がまだ検出されていない場合、図６の上段に示すように、その１画素そのものに動体領域Ａを設定する。その後、動体領域特定処理部６１はラスタスキャンを継続して、動体画素を新たに検出すると、その動体画素の周辺画素において他の動体画素が既に検出されているか否かを判定する。
【００７６】
例えば、図６の中央に示すように、新たに検出された動体画素の右上に検出済みの動体画素がある場合、動体領域特定処理部６１は、それらの動体画素に外接するような矩形の領域に動体領域Ａを設定する。つまり、新たに検出された動体画素が、既に設定されている動体領域Ａよりも外側にある場合、動体領域特定処理部６１は、新たに検出された動体画素を含むように動体領域Ａを拡大する。
【００７７】
以下同様に、動体領域特定処理部６１はラスタスキャンを継続して、動体画素を新たに検出すると、その動体画素の周辺画素において他の動体画素が既に検出されているか否かを判定する処理を繰り返す。これにより、図６の下段に示すように、検出した全ての動体画素を囲うような動体領域Ａを設定することができる。
【００７８】
図８を参照して、動体トラッキング処理部６３による動体トラッキング処理について説明する。
【００７９】
動体トラッキング処理部６３は、途中結果保持メモリ６２に保持されている認識結果を読み出し、動体領域特定処理部６１により特定された動体領域内の特徴量として、例えば、動体領域内の色情報のヒストグラムを求める。
【００８０】
まず、動体トラッキング処理部６３は、初めて動体領域が特定された場合には、その動体領域を識別するための識別ＩＤを割り当て、その識別ＩＤを、輪郭画素群の座標およびヒストグラムとともに途中結果保持メモリ６２に保存する。
【００８１】
また、動体トラッキング処理部６３は、前フレームにおいて動体領域が既に特定されており、途中結果保持メモリ６２に識別ＩＤが登録されている場合、まず、任意の動体領域の識別ＩＤに対応付けられているヒストグラムを途中結果保持メモリ６２から読み出す。そして、動体トラッキング処理部６３は、途中結果保持メモリ６２から読み出したヒストグラムと、現フレームの動体領域から求められたヒストグラムとの比較を行う。
【００８２】
例えば、動体トラッキング処理部６３は、前フレームの動体領域から求められたヒストグラムと、現フレームの動体領域から求められたヒストグラムとの重なり面積を類似度の指標とし、類似度が所定の閾値以上である場合、それらの動体領域は同一の動体に対するものであると判断する。一方、動体トラッキング処理部６３は、類似度が所定の閾値未満である場合、途中結果保持メモリ６２から別のヒストグラムを読み出し、順次、同様に類似度を判定する処理を行い、同一の動体のものとされる動体領域がない場合には、新たな動体に対する動体領域として、新たな識別ＩＤを割り当てる。
【００８３】
そして、動体トラッキング処理部６３は、動体領域の識別ＩＤと輪郭画素群の座標を最終的な認識結果として出力する。
【００８４】
次に、図９は、撮像素子１１Ａにおいて動体トラッキングを行う画像認識処理を説明するフローチャートである。
【００８５】
ステップＳ３１において、過去フレーム保存用の画素２１の露光を開始する。即ち、垂直走査回路１３は、奇数列の奇数行に配置された過去フレーム保存用の画素２１の転送トランジスタ５２に対する転送信号TRXをパルス状にオンにする。これにより、それらの画素２１のＰＤ５１に残留している電荷が転送トランジスタ５２を介してＦＤ部５３に転送されて、ＰＤ５１の露光が開始される。
【００８６】
ステップＳ３２において、過去フレーム保存用の画素２１のＦＤ部５３をリセットする。即ち、垂直走査回路１３が、奇数列の奇数行に配置された過去フレーム保存用の画素２１のリセットトランジスタ５６に対するリセット信号RSTをパルス状にオンにする。これにより、それらの画素２１のＦＤ部５３に蓄積されている電荷がリセットトランジスタ５６を介してドレイン電源に排出されて、ＦＤ部５３の電荷が空になる。
【００８７】
ステップＳ３３において、過去フレーム保存用の画素２１でＰＤ５１からＦＤ部５３に電荷を転送する。即ち、垂直走査回路１３が、奇数列の奇数行に配置された過去フレーム保存用の画素２１の転送トランジスタ５２に対する転送信号TRXをパルス状にオンにする。これにより、それらの画素２１で、所定の露光時間においてＰＤ５１で光電変換されて蓄積されている電荷が転送トランジスタ５２を介してＦＤ部５３に転送されて、ＦＤ部５３に保存される。
【００８８】
ステップＳ３４において、次の露光タイミングまで、一定の時間だけ処理が待機される。
【００８９】
ステップＳ３５において、差分処理用およびトラッキング処理用の画素２１の露光を開始する。即ち、垂直走査回路１３は、偶数列の奇数行に配置された差分処理用の画素２１と、奇数列の偶数行に配置されたトラッキング処理用の画素２１とにおいて、転送トランジスタ５２に対する転送信号TRXをパルス状にオンにする。これにより、それらの画素２１のＰＤ５１に残留している電荷が転送トランジスタ５２を介してＦＤ部５３に転送されて、ＰＤ５１の露光が開始される。
【００９０】
ステップＳ３６において、差分処理用およびトラッキング処理用の画素２１のＦＤ部５３をリセットする。即ち、垂直走査回路１３が、偶数列の奇数行に配置された差分処理用の画素２１と、奇数列の偶数行に配置されたトラッキング処理用の画素２１とに対し、リセットトランジスタ５６に対するリセット信号RSTをパルス状にオンにする。これにより、それらの画素２１のＦＤ部５３に蓄積されている電荷がリセットトランジスタ５６を介してドレイン電源に排出されて、ＦＤ部５３の電荷が空になる。
【００９１】
ステップＳ３７において、差分処理用およびトラッキング処理用の画素２１でＰＤ５１からＦＤ部５３に電荷を転送する。即ち、垂直走査回路１３が、偶数列の奇数行に配置された差分処理用の画素２１と、奇数列の偶数行に配置されたトラッキング処理用の画素２１とに対し、転送トランジスタ５２に対する転送信号TRXをパルス状にオンにする。これにより、それらの画素２１で、所定の露光時間においてＰＤ５１で光電変換されて蓄積されている電荷が転送トランジスタ５２を介してＦＤ部５３に転送されて、ＦＤ部５３に保存される。
【００９２】
ステップＳ３８において、過去フレーム保存用および差分処理用の画素２１から画素信号を読み出す。即ち、垂直走査回路１３は、奇数行の画素２１に対して順次、水平信号線２２−１および２２−２それぞれに接続される画素２１の選択トランジスタ５５に対する選択信号SELをオンにする。これにより、選択された画素２１の増幅トランジスタ５４が選択トランジスタ５５を介して垂直信号線２３に接続され、画素信号が読み出される。
【００９３】
ステップＳ３９において、動体領域特定処理部６１は、過去フレーム保存用および差分処理用の画素２１から読み出された画素信号を用いて動体領域特定処理を行い、動体領域特定処理における認識結果である動体領域を途中結果保持メモリ６２に保存する。即ち、図５を参照して説明したように、動体領域特定処理部６１は、動体領域特定処理において動体領域を特定する。
【００９４】
ステップＳ４０において、トラッキング処理用の画素２１から画素信号を読み出す。即ち、垂直走査回路１３は、偶数行の画素２１に対して順次、奇数列の水平信号線２２−１それぞれに接続される画素２１の選択トランジスタ５５に対する選択信号SELをオンにする。これにより、選択された画素２１の増幅トランジスタ５４が選択トランジスタ５５を介して垂直信号線２３に接続され、画素信号が読み出される。
【００９５】
ステップＳ４１において、動体トラッキング処理部６３は、図８を参照して上述したように、トラッキング処理用の画素２１から読み出された画素信号を用いて動体トラッキング処理を行う。そして、動体トラッキング処理部６３は、動体トラッキング処理における認識結果である動体領域の識別ＩＤと輪郭画素群の座標を出力する。
【００９６】
以上のように、撮像素子１１Ａは、動体領域特定処理および動体トラッキング処理のように複数段階の処理が組み合わされた画像認識処理を、それぞれの段階の処理で用いる画素信号を適宜読み出すことにより、より効率的に画像処理を実行することができる。
【００９７】
＜画素２１の第２の構成例＞
【００９８】
次に、図１０は、画素２１の第２の構成例を示す図である。なお、図１０に示す画素２１Ａにおいて、図２の画素２１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
【００９９】
図１０に示すように、撮像素子１１は、半導体基板４１、配線層４２、および遮光膜４３が積層されて構成される。また、画素２１は、ＰＤ５１、転送トランジスタ５２Ａ、ＦＤ部５３、増幅トランジスタ５４、選択トランジスタ５５、リセットトランジスタ５６、メモリ部５７、および読み出しトランジスタ５８を備えて構成される。
【０１００】
即ち、画素２１Ａは、メモリ部５７および読み出しトランジスタ５８をさらに有し、転送トランジスタ５２Ａのゲート電極がメモリ部５７を覆うように形成される点で、図２の画素２１と異なる構成となっている。
【０１０１】
このように構成される画素２１Ａでは、転送トランジスタ５２Ａを駆動することにより、ＰＤ５１からメモリ部５７に電荷が転送され、画素２１Ａから画素信号を読み出すタイミングとなるまでメモリ部５７において電荷が保持される。そして、画素２１Ａから画素信号を読み出すタイミングとなると、読み出しトランジスタ５８を駆動することにより、メモリ部５７からＦＤ部５３に電荷が転送され、画素信号が読み出される。
【０１０２】
このように、画素２１Ａは、ＰＤ５１とは別に、画素内メモリ部として機能するメモリ部５７を有することにより、例えば、画素２１よりも低ノイズの画素信号を出力することができる。従って、画素２１Ａを有する撮像素子１１は、低ノイズの画素信号を用いることで、画像認識処理の認識精度の向上を図ることができる。
【０１０３】
なお、撮像素子１１において実行される画像認識処理は、顔属性を検知する処理や動体をトラッキングする処理だけに限られることはなく、画像を複数回読み込んで複数段階の処理を行う画像認識処理であれば、どのようなものにも適用することができる。
【０１０４】
また、図１０のメモリ部５７からは１回のみしか画素信号を読み出すことができないのに対し、図２のＦＤ部５３からは複数回の画素信号の読み出しを行うことができ、同一の画素２１から複数回の読み出しを行うことで、より多くのバリエーションの画像認識処理を実現することができる。但し、ＦＤ部５３から複数回の画素信号の読み出しを行う場合には、ＦＤ部５３が電荷を長期間保持することにより暗電流によるノイズが増加するため、画質の低下を抑制する必要がある。さらに、画素２１の構造としては、図２および図１０に示したような構造の他、電荷を保持する画素内メモリ部を備える構造であれば、どのような構造を採用してもよい。
【０１０５】
以上のような構造の撮像素子１１は、１フレーム分の画像を保存するフレームメモリをロジック回路に備えない構造であっても、センサチップ内というリソースの限られた中において、複数の互いに依存した処理を実現することができる。これにより、撮像素子１１は、従来、コストおよび電力の面で現実的ではなかった処理を、現実的な回路規模で実現することができる。従って、撮像素子１１だけで非常に多様な機能を実現できることになりセットの小型化および低コスト化に大きく寄与することができる。また、撮像素子１１の内部に閉じて検知処理までを行うことで、画像を出さずに検知結果だけを出力することが可能となるので、プライベート空間の監視や見守りなど、万が一でも画像が外に漏れては困るようなシステムにおいて大きな安心を提供することができる。
【０１０６】
＜電子機器の構成例＞
【０１０７】
なお、上述したような各実施の形態の撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１０８】
図１１は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
【０１０９】
図１１に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
【０１１０】
光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
【０１１１】
撮像素子１０３としては、上述した各実施の形態の撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
【０１１２】
信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
【０１１３】
このように構成されている撮像装置１０１では、上述した各実施の形態の撮像素子１１を適用することで、例えば、撮像素子１１において効率的に画像認識処理を実行して得られた認識結果を出力することができる。
【０１１４】
＜イメージセンサの使用例＞
【０１１５】
図１２は、上述のイメージセンサを使用する使用例を示す図である。
【０１１６】
上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０１１７】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１１８】
なお、本技術は以下のような構成も取ることができる。
（１）
光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、
前記画素から画素信号を読み出す駆動を行う駆動部と、
前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う画像処理部
を備える撮像素子。
（２）
前記画像処理部は、
前記画素領域から複数回読み出される前記画素信号を用いて、複数回の前処理を行う前処理部と、
前記前処理部による処理結果を保持する保持部と、
前記保持部に保持されている処理結果、および、前記画素領域から読み出される前記画素信号を用いた後処理を行う後処理部と
を有する
上記（１）に記載の撮像素子。
（３）
前記画素内メモリ部は、前記電荷を画素信号に変換する変換部として用いられる浮遊拡散領域である
上記（１）または（２）に記載の撮像素子。
（４）
前記画素内メモリ部は、前記浮遊拡散領域と前記光電変換部の間に設けられる電荷保持部である
上記（１）または（２）に記載の撮像素子。
（５）
光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、前記画素から画素信号を読み出す駆動を行う駆動部とを備える撮像素子の画像処理方法であって、
前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う
画像処理方法。
（６）
光を電荷に変換する光電変換部および前記光電変換部で発生した電荷を保持する画素内メモリ部を有する画素が行列状に配置された画素領域と、
前記画素から画素信号を読み出す駆動を行う駆動部と、
前記駆動部の駆動に従って前記画素領域から複数回の読み出しが行われ、それぞれ読み出された複数の画像に基づいた画像処理を行う画像処理部
を有する撮像素子を備える電子機器。
【０１１９】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２０】
１１  撮像素子，  １２  画素領域，  １３  垂直走査回路，  １４  カラム信号処理回路，  １５  水平走査回路，  １６  出力回路，  １７  制御回路，  １８  ロジック回路，  ２１  画素，  ２２−１および２２−２  水平信号線，  ２３  垂直信号線，  ２４  データ出力信号線，  ３１  顔検出処理部，  ３２  認識結果保持メモリ，  ３３  顔属性検知処理部，  ４１  半導体基板，  ４２  配線層，  ４３  遮光膜，  ４４  開口部，  ５１  ＰＤ，  ５２  転送トランジスタ，  ５３  ＦＤ部，  ５４  増幅トランジスタ，  ５５  選択トランジスタ，  ５６  リセットトランジスタ，  ５７  メモリ部，  ５８  読み出しトランジスタ
【図１】
2017017624.tif 000003
【図２】
2017017624.tif 000004
【図３】
2017017624.tif 000005
【図４】
2017017624.tif 000006
【図５】
2017017624.tif 000007
【図６】
2017017624.tif 000008
【図７】
2017017624.tif 000009
【図８】
2017017624.tif 000010
【図９】
2017017624.tif 000011
【図１０】
2017017624.tif 000012
【図１１】
2017017624.tif 000013
【図１２】
2017017624.tif 000014