(57)【要約】  ３次元モーション取得装置（１）は、光源（１１０）と、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路（１２０）と、光源（１１０）の発光パターンと、第１の露光パターンと、第２の露光パターンとを制御するプロセッサ（１３０）とを備え、プロセッサ（１３０）は、発光パターンと、電荷量取得回路（１２０）によって取得された、各画素における第１の電荷量、及び第２の電荷量とに基づいて、各画素における被写体までの距離を推定し、第１の露光パターンと、第２の露光パターンと、電荷量取得回路（１２０）によって取得された、第１の電荷量、及び第２の電荷量とに基づいて、各画素におけるオプティカルフローを推定する。
2018142878.tif 000002
【特許請求の範囲】
【請求項１】
光源と、
複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路と、
前記光源の発光パターンと、前記第１の露光パターンと、前記第２の露光パターンとを制御するプロセッサとを備え、
前記プロセッサは、
前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、
前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、
推定した前記距離と、推定した前記オプティカルフローとを出力する
３次元モーション取得装置。
【請求項２】
前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う
請求項１に記載の３次元モーション取得装置。
【請求項３】
前記電荷量取得回路は、さらに、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、
前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、
前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、
前記第３の露光パターンでは、露光感度が、矩形波で変化し、
前記プロセッサは、
前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、
前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う
請求項１又は２に記載の３次元モーション取得装置。
【請求項４】
前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する
請求項３に記載の３次元モーション取得装置。
【請求項５】
前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、
前記第２の露光パターンでは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する
請求項１又は２に記載の３次元モーション取得装置。
【請求項６】
前記発光パターンでは、発光量が、矩形波で変化する
請求項５に記載の３次元モーション取得装置。
【請求項７】
前記画素は、一の開口内に複数のサブ画素を備え、
前記サブ画素は、半導体基板の主平面上方に積層された、第１電極と、当該第１電極よりも前記半導体基板から遠くに位置する第２電極と、前記第１電極及び前記第２電極の間に位置する光電変換部材とからなる光電変換部を備え、
前記電荷量取得回路は、さらに、各前記サブ画素における前記第１電極の電位を制御する電極制御回路を備える
請求項１〜６のいずれか１項に記載の３次元モーション取得装置。
【請求項８】
前記電極制御回路は、各前記サブ画素における前記第１電極に、容量を介して電気的に接続される
請求項７に記載の３次元モーション取得装置。
【請求項９】
前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のカラーフィルタを備える
請求項８に記載の３次元モーション取得装置。
【請求項１０】
前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のオンチップマイクロレンズを備える
請求項９に記載の３次元モーション取得装置。
【請求項１１】
前記電極制御回路は、露光期間以外の期間である非露光期間に、各前記サブ画素における前記第１電極の電位を変更することで、各前記サブ画素における露光感度を変更する
請求項７〜１０のいずれか１項に記載の３次元モーション取得装置。
【請求項１２】
前記プロセッサは、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、互いに独立する２以上のオプティカルフロー拘束式を算出し、当該算出したオプティカルフロー拘束式を用いて、前記オプティカルフローの推定を行う
請求項１〜１１のいずれか１項に記載の３次元モーション取得装置。
【請求項１３】
前記発光パターンでは、前記第１の露光パターンの露光期間の少なくとも一部の期間と、前記第２の露光パターンの露光期間の露光期間の少なくとも一部の期間とに、前記光源の発光量が変化する
請求項１２に記載の３次元モーション取得装置。
【請求項１４】
前記光源を前記発光パターンで発光させるための発光制御信号を前記光源に送信する送信部を備え、
前記光源は、前記送信部から送信された発光制御信号を受信し、当該受信した発光制御信号に基づいて、前記発光パターンで発光する
請求項１〜１３のいずれか１項に記載の３次元モーション取得装置。
【請求項１５】
光源と、複数の画素を含む電荷量取得回路と、プロセッサとを備える３次元モーション取得装置が行う３次元モーション取得方法であって、
前記プロセッサが、前記光源の発光パターンと、前記電荷量取得回路の各画素における、第１の露光パターンと、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンとを制御し、
前記電荷量取得回路が、各画素において、前記第１の露光パターンにおける第１の電荷量と、前記第２の露光パターンにおける第２の電荷量とを取得し、
前記プロセッサが、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量に基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、
前記プロセッサが、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における、前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、
前記プロセッサが、推定した前記距離と、推定した前記オプティカルフローとを出力する
３次元モーション取得方法。
【請求項１６】
前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う
請求項１５に記載の３次元モーション取得方法。
【請求項１７】
さらに、前記電荷量取得回路が、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、
前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、
前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、
前記第３の露光パターンでは、露光感度が、矩形波で変化し、
前記プロセッサは、
前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、
前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う
請求項１５又は１６に記載の３次元モーション取得方法。
【請求項１８】
前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する
請求項１７に記載の３次元モーション取得方法。
【請求項１９】
前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、
前記第２の露光パターンは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する
請求項１５又は１６に記載の３次元モーション取得方法。
【請求項２０】
前記発光パターンでは、発光量が、矩形波で変化する
請求項１９に記載の３次元モーション取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被写体の距離情報と動き情報との両方を取得する３次元モーション取得装置及び３次元モーション取得システムに関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary MOS）センサなどによる画像センサから求めた被写体の動き情報及び／または距離情報は、車の周辺監視システム、屋内の監視システム、屋外の監視システム、インターフェイス機器において、重要な役割をはたしている。【０００３】
特に、動き情報と距離情報を同時に求める手法は３次元モーション推定と呼ばれ、動物体の環境認識には非常に有効である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７５８６１８号公報
【非特許文献】
【０００５】
【非特許文献１】B.D. Lucas and T. Kanade， “An Iterative Image Registration Technique with application to stereo vision”， In Proc． 7th IJCAI， pp．674-679，1981．
【非特許文献２】安藤繁，魏大比，ポルマズレル，  “複素正弦波変調撮像によるオプティカルフロー検出理論および時間相関イメージセンサによる実現”，  情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ），Ｖｏｌ．１５７，ｐｐ．７７−８４，２００７．
【発明の概要】
【０００６】
しかしながら、従来の３次元モーション推定において、１つの画像センサを利用して、被写体の距離情報と動き情報とを高精度に取得することが難しい。
【０００７】
本開示の非限定的で例示的な一態様は、１つの画像センサを利用して、被写体の距離情報と動き情報とを高精度に取得し得る３次元モーション取得装置である。また、本開示の非限定的で例示的な一態様は、その３次元モーション取得装置で用いられる３次元モーション取得方法である。
【０００８】
本開示の一態様に係る３次元モーション取得装置は、光源と、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路と、前記光源の発光パターンと、前記第１の露光パターンと、前記第２の露光パターンとを制御するプロセッサとを備え、前記プロセッサは、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、推定した前記距離と、推定した前記オプティカルフローとを出力する。
【０００９】
また、本開示の一態様に係る３次元モーション取得方法は、光源と、複数の画素を含む電荷量取得回路と、プロセッサとを備える３次元モーション取得装置が行う３次元モーション取得方法であって、前記プロセッサが、前記光源の発光パターンと、前記電荷量取得回路の各画素における、第１の露光パターンと、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンとを制御し、前記電荷量取得回路が、各画素において、前記第１の露光パターンにおける第１の電荷量と、前記第２の露光パターンにおける第２の電荷量とを取得し、前記プロセッサが、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量に基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記プロセッサが、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における、前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、前記プロセッサが、推定した前記距離と、推定した前記オプティカルフローとを出力する。
【００１０】
なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
【００１１】
本開示によれば、１つの画像センサ（電荷量取得回路）を利用して、被写体の距離情報と動き情報（オプティカルフロー）とを高精度に取得することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１に係る３次元モーション取得装置の構成を示すブロック図
【図２】図２は、電荷量取得回路の回路構成図
【図３】図３は、画素セルの一例についての断面図
【図４】図４は、画素セルの一例についての平面図
【図５】図５は、サブ画素セルのデバイス構造を示す模式図
【図６】図６は、画素セルの一例についての断面図
【図７】図７は、画素セルの一例についての平面図
【図８】図８は、画素セルの一例についての断面図
【図９】図９は、画素セルの一例についての平面図
【図１０】図１０は、実施の形態１に係る３次元モーション取得装置における処理の例を示すフローチャート
【図１１】図１１は、時間発光パターンと変調露光パターンとの関係を示す模式図
【図１２】図１２は、実施の形態１に係る３次元モーション取得装置における処理の例を示すフローチャート
【図１３】図１３は、時間発光パターンと反射光パターンと変調露光パターンとの関係を示す模式図
【図１４】図１４は、実施の形態２に係る３次元モーション取得装置の構成を示すブロック図
【図１５】図１５は、実施の形態２に係る３次元モーション取得装置における処理の例を示すフローチャート
【発明を実施するための形態】
【００１３】
（本開示の一態様を得るに至った経緯）
従来、被写体の動き情報を求めるために、オプティカルフローが広く使われている。移動する被写体を異なる時間に撮像した２枚の第１画像、第２画像において、被写体に含まれる同じ部分に対応する画素が移動しても明るさ（画素値）は不変であることを利用したオプティカルフロー拘束式を利用してオプティカルフローを求める手法が、演算コストの観点から広く利用されている（例えば、非特許文献１）。また、非特許文献２では、外部から供給される参照信号と、露光中の光の強度の時間変化との時間相関を算出する時間相関イメージセンサを利用して、１フレームからオプティカルフローを求める手法が開示されている。
【００１４】
一方、被写体の３次元情報を取得するために、ＴＯＦ（Time-of-Flight）を利用する方法が広く知られている（例えば、特許文献１）。
【００１５】
しかしながら、オプティカルフロー拘束式は劣決定問題であり、何らかの拘束条件を加えなければ解くことができない。例えば、非特許文献１におけるオプティカルフロー検出手法は、オプティカルフロー拘束式に加え、近傍でオプティカルフローが等しいという拘束条件を利用して解を求めている。しかし、このような拘束条件は、一般にすべてのシーンで満たされるものではないため、求めたオプティカルフローの精度が劣化するという問題がある。さらに、オプティカルフロー拘束式は、「画素が移動しても明るさ（画素値）は不変」を仮定しているため、ＴＯＦ法のような投光型の距離情報取得方法との両立が難しい。
【００１６】
また、非特許文献２に関しては、通常のＣＯＭＳセンサに比べ、余計な配線が必要となり、開口が低下し、感度が劣化するという問題がある。
【００１７】
発明者は、このような問題を鑑みて、下記本開示の一態様に係る３次元モーション取得装置及び３次元モーション取得方法を想到するに至った。
【００１８】
本開示の一態様に係る３次元モーション取得装置は、光源と、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する電荷量取得回路と、前記光源の発光パターンと、前記第１の露光パターンと、前記第２の露光パターンとを制御するプロセッサとを備え、前記プロセッサは、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、推定した前記距離と、推定した前記オプティカルフローとを出力することを特徴とする。
【００１９】
上記構成の３次元モーション取得装置によれば、１つの画像センサ（電荷量取得回路）を利用して、被写体の距離情報と動き情報（オプティカルフロー）とを高精度に取得することができる。
【００２０】
また、好ましくは、前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う。
【００２１】
また、好ましくは、前記電荷量取得回路は、さらに、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、前記第３の露光パターンでは、露光感度が、矩形波で変化し、前記プロセッサは、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う。
【００２２】
また、好ましくは、前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する。
【００２３】
また、好ましくは、前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンでは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する。
【００２４】
また、好ましくは、前記発光パターンでは、発光量が、矩形波で変化する。
【００２５】
また、好ましくは、前記画素は、一の開口内に複数のサブ画素を備え、前記サブ画素は、半導体基板の主平面上方に積層された、第１電極と、当該第１電極よりも前記半導体基板から遠くに位置する第２電極と、前記第１電極及び前記第２電極の間に位置する光電変換部材とからなる光電変換部を備え、前記電荷量取得回路は、さらに、各前記サブ画素における前記第１電極の電位を制御する電極制御回路を備える。
【００２６】
また、好ましくは、前記電極制御回路は、各前記サブ画素における前記第１電極に、容量を介して電気的に接続される。
【００２７】
また、好ましくは、前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のカラーフィルタを備える。
【００２８】
また、好ましくは、前記画素は、当該画素が備える複数の前記サブ画素によって共用される一のオンチップマイクロレンズを備える。
【００２９】
また、好ましくは、前記電極制御回路は、露光期間以外の期間である非露光期間に、各前記サブ画素における前記第１電極の電位を変更することで、各前記サブ画素における露光感度を変更する。
【００３０】
また、好ましくは、前記プロセッサは、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量とに基づいて、互いに独立する２以上のオプティカルフロー拘束式を算出し、当該算出したオプティカルフロー拘束式を用いて、前記オプティカルフローの推定を行う。
【００３１】
また、好ましくは、前記発光パターンでは、前記第１の露光パターンの露光期間の少なくとも一部の期間と、前記第２の露光パターンの露光期間の露光期間の少なくとも一部の期間とに、前記光源の発光量が変化する。
【００３２】
また、好ましくは、前記光源を前記発光パターンで発光させるための発光制御信号を前記光源に送信する送信部を備え、前記光源は、前記送信部から送信された発光制御信号を受信し、当該受信した発光制御信号に基づいて、前記発光パターンで発光する。
【００３３】
本開示の一態様に係る３次元モーション取得方法は、光源と、複数の画素を含む電荷量取得回路と、プロセッサとを備える３次元モーション取得装置が行う３次元モーション取得方法であって、前記プロセッサが、前記光源の発光パターンと、前記電荷量取得回路の各画素における、第１の露光パターンと、当該第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンとを制御し、前記電荷量取得回路が、各画素において、前記第１の露光パターンにおける第１の電荷量と、前記第２の露光パターンにおける第２の電荷量とを取得し、前記プロセッサが、前記発光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第１の電荷量、及び前記第２の電荷量に基づいて、前記電荷量取得回路の各画素における、被写体までの距離を推定し、前記プロセッサが、前記第１の露光パターンと、前記第２の露光パターンと、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における、前記第１の電荷量、及び前記第２の電荷量とに基づいて、前記電荷量取得回路の各画素におけるオプティカルフローを推定し、前記プロセッサが、推定した前記距離と、推定した前記オプティカルフローとを出力することを特徴とする。
【００３４】
上記構成の３次元モーション取得方法によれば、１つの画像センサ（電荷量取得回路）を利用して、被写体の距離情報と動き情報（オプティカルフロー）とを高精度に取得することができる。
【００３５】
また、好ましくは、前記プロセッサは、前記電荷量取得回路の各画素における、露光期間又は露光感度を制御することで、前記第１の露光パターンの制御、及び前記第２の露光パターンの制御を行う。
【００３６】
また、好ましくは、さらに、前記電荷量取得回路が、各画素において、前記第１の露光パターンの露光期間と、前記第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得し、前記第１の露光パターンでは、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンでは、露光感度が、前記第１の露光パターンにおけるサイン波とは位相が異なる、前記所定周期のサイン波で変化し、前記第３の露光パターンでは、露光感度が、矩形波で変化し、前記プロセッサは、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記距離の推定を行い、前記電荷量取得回路によって取得された、前記電荷量取得回路の各画素における前記第３の電荷量にも基づいて前記オプティカルフローの推定を行う。
【００３７】
また、好ましくは、前記発光パターンでは、発光量が、前記所定周期のサイン波で変化する。
【００３８】
また、好ましくは、前記第１の露光パターンでは、第１期間において、露光感度が、矩形波で変化し、前記第１期間を含まない第２期間において、露光感度が、所定周期のサイン波で変化し、前記第２の露光パターンは、第３期間において、露光感度が、矩形波で変化し、前記第３期間を含まない第４期間において、露光感度が、前記所定周期のサイン波で変化する。
【００３９】
また、好ましくは、前記発光パターンでは、発光量が、矩形波で変化する。
【００４０】
本開示の一態様に係る３次元モーション装置は、第１信号に従った光を出射する光源と、前記光を受けた観察対象からの光を受光するレンズと、前記レンズから出力された光を受光する第１画素セル、第２画素セル、第３画素セルを含む回路と、処理器を含み、前記第１セルは第１電極、第２電極、第１電極と第２電極の間に位置する第１光電材料を含み、前記第２セルは第３電極、第４電極、第３電極と第４電極の間に位置する第２光電材料を含み、前記第３セルは第５電極、第６電極、第５電極と第６電極の間に位置する第３光電材料を含み、前記レンズの開口で規定される面積は前記第２電極の面積と前記第４電極の面積と前記第６電極の面積を加算した面積より小さく、前記第１電極の電位、前記第３電極の電位、前記第５電極の電位は同じであり、前記第１電極、前記３電極、前記第５電極は連続して形成される電極に含まれ、前記第１光電材、前記第２光電材、前記第３光電材料は連続して掲載される光電材料に含まれ、前記第１電極と前記レンズの距離は前記第２電極と前記レンズの距離よりも小さく、前記第３電極と前記レンズの距離は前記第３電極と前記レンズの距離よりも小さく、前記第５電極と前記レンズの距離は前記第４電極と前記レンズの距離よりも小さく、前記第２電極は第１増幅器の第１ゲートに接続され、前記第３電極は第２増幅器の第２ゲートに接続され、前記第４電極は第３増幅器の第３ゲートに接続され、前記第２電極は第２信号を発生する第１信号発生器に接続され、前記第３電極は第３信号を発生する第２信号発生器に接続され、前記第４電極は第４信号を発生する第３信号発生器に接続され、第１増幅器は、第１ゲートに印加される電気信号に比例した電気信号を第１セルの第１出力信号として提供し、第２増幅器は、第２ゲートに印加される電気信号に比例した電気信号を第２セルの第２出力信号として提供し、第３増幅器は、第３ゲートに印加される電気信号に比例した電気信号を第３セルの第３出力信号として提供し、第１信号はＬ（ｔ）、第２信号はｓ１（ｔ）、第３信号はＳ２（ｔ）、第４信号はＳ０（ｔ）であり、ここでΔｔをフレームレートの逆数、φをフレームタイミングとの時間差を示す位相差、Ｎを１フレーム間での発光パターンの周期数すると、
【００４１】
【数１】
2018142878.tif 000003
【００４２】
【数５】
2018142878.tif 000004
【００４３】
である装置。
【００４４】
以下、本開示の一態様に係る３次元モーション取得装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００４５】
（実施の形態１）
図１は、本開示の一態様に係る３次元モーション取得装置１の構成を示すブロック図である。
【００４６】
同図に示されるように、３次元モーション取得装置１は、光源１１０と、電荷量取得回路１２０と、プロセッサ１３０とを備える。
【００４７】
光源１１０は、例えば、ＬＥＤ（Light Emitting Diode）であって、被写体に向けて、輝度変調光を発光する。輝度変調光とは、時間的に輝度が変更し得る光である。
【００４８】
光源１１０は、輝度変調光を発光する機能を有していれば、必ずしもＬＥＤに限定される必要はない。例えば、レーザ、ＨＩＤ（High-Intensity Discharge）ランプであっても構わない。
【００４９】
電荷量取得回路１２０は、例えば、画像センサであって、複数の画素を含み、各画素において、第１の露光パターンにおける第１の電荷量と、第１の露光パターンの露光期間に少なくとも一部の露光期間が重なる第２の露光パターンにおける第２の電荷量とを取得する機能を有する。
【００５０】
電荷量取得回路１２０は、例えば、さらに、各画素において、第１の露光パターンの露光期間と、第２の露光パターンの露光期間とに、少なくとも一部の露光期間が重なる第３の露光パターンにおける第３の電荷量を取得するとしてもよい。
【００５１】
電荷量取得回路１２０の詳細については、後述する。
【００５２】
プロセッサ１３０は、図示していないメモリに記憶されるプログラムを実行することで、制御部１３１と、距離推定部１３２と、オプティカルフロー推定部１３３と、出力部１３４とを実現する。
【００５３】
制御部１３１は、光源１１０の発光パターンを制御する。また、制御部１３１は、電荷量取得回路１２０における、第１の露光パターンと第２の露光パターンとを制御する。
【００５４】
制御部１３１は、例えば、電荷量取得回路１２０の画素における、露光期間又は露光感度を制御することで、第１の露光パターンの制御、及び第２の露光パターンの制御を行うとしてもよい。
【００５５】
また、例えば、第１の露光パターンでは、露光感度が、所定周期のサイン波の波高値に比例して変化し、第２の露光パターンでは、露光感度が、上記所定周期のサイン波の位相と異なる位相を有する上記所定周期のサイン波の波高値に比例して変化し、第３の露光パターンでは、露光感度が、矩形波の波高値に比例して変化するとしてもよい。
【００５６】
また、例えば、発光パターンでは、発光量が、上記所定周期のサイン波の波高値に比例して変化するとしてもよい。
【００５７】
また、例えば、第１の露光パターンでは、第１期間において、露光感度が、矩形波の波高値に比例して変化し、第１期間を含まない第２期間において、露光感度が、所定周期のサイン波の波高値に比例して変化し、第２の露光パターンでは、第３期間において、露光感度が、矩形波の波高値に比例して変化し、第３期間を含まない第４期間において、露光感度が、上記所定周期のサイン波の波高値に比例して変化するとしてもよい。
【００５８】
また、例えば、発光パターンでは、発光量が、矩形波の波高値に比例して変化するとしてもよい。
【００５９】
制御部１３１の動作の詳細については、後述する。
【００６０】
距離推定部１３２は、光源１１０の発光パターンと、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第１の電荷量、及び第２の電荷量とに基づいて、電荷量取得回路１２０の各画素における、被写体までの距離を推定する。
【００６１】
距離推定部１３２は、例えば、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第３の電荷量に基づいて上記距離の推定を行うとしてもよい。
【００６２】
距離推定の詳細については、後述する。
【００６３】
オプティカルフロー推定部１３３は、第１の露光パターンと、第２の露光パターンと、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第１の電荷量、及び第２の電荷量とに基づいて、電荷量取得回路１２０の各画素におけるオプティカルフローを推定する。
【００６４】
オプティカルフロー推定部１３３は、例えば、電荷量取得回路１２０によって取得された、電荷量取得回路１２０の各画素における第３の電荷量に基づいて上記オプティカルフローの推定を行うとしてもよい。
【００６５】
オプティカルフロー推定の詳細については、後述する。
【００６６】
従来のオプティカルフロー推定方法では、複数のフレーム間における着目箇所の被写体とカメラ間の相対的な動きの方向及び大きさが一定であることを仮定し、複数フレームの画像を利用する。これに対して、オプティカルフロー推定部１３３では、後述するように、１フレームの画像から、オプティカルフローを推定することが可能である。
【００６７】
また、従来のオプティカルフロー推定方法では、輝度変調光を発する光源下においては、被写体の輝度が時間的に変動するため、オプティカルフローを推定することが困難である。これに対して、オプティカルフロー推定部１３３では、後述するように、輝度変調光を発する光源下においても、オプティカルフローを推定することができる。
【００６８】
出力部１３４は、距離推定部１３２によって推定された距離と、オプティカルフロー推定部１３３によって推定されたオプティカルフローとを出力する。
【００６９】
例えば、自動運転車の環境認識システムでは、従来、被写体の距離情報はＬＩＤＡＲ（Light Detection And Ranging、Laser Imaging Detection And Ranging）、動き情報は異なるセンサ、例えばカメラによるオプティカルフローを利用して取得することが多い。この場合、距離情報と動き情報の観測点は一致しておらず、異なるセンサで取得した情報を統合する処理が別途必要であり、この処理が精度を劣化させる原因となっていた。
【００７０】
一方、本実施の形態１に係る３次元モーション取得装置１は、距離情報と動き情報とを同一の電荷量取得回路１２０から求めているため、距離情報の観測点と動き情報の観測点は常に一致しており、情報処理の負担を軽減しつつ、より精度の高い３次元モーション情報を出力することができる。
【００７１】
また、従来、複数フレームのステレオ画像を利用した場合も、同一観測点での距離情報と動き情報とを取得できる。しかしながら、距離情報は同一露光時間の画像、動き情報は異なる露光時間の情報から推定しているため、両者は時間的に異なった情報となる。そのため、両情報を統合した際に誤差が生じていた。一方、本実施形態１に係る３次元モーション取得装置１は、距離情報と動き情報とを同一の第１の電荷量及び第２の電荷量から求めているためこのようなフレーム間のずれは生じず、より精度の高い３次元モーション情報を出力することができる。
【００７２】
次に、電荷量取得回路１２０の詳細について説明する。
【００７３】
図２は、電荷量取得回路１２０の回路構成図である。
【００７４】
同図に示されるように、電荷量取得回路は、２次元アレイ状に配置された複数の画素セル１０（画素）を含む。そして、各画素セル１０は、複数のサブ画素セル５を備える。ここでは、各画素セル１０が、サブ画素セル５ａとサブ画素セル５ｂとの２つのサブ画素セル５を備えるとして説明する。ここで、サブ画素セル５ａとサブ画素セル５ｂとは、画素セル１０の２次元アレイ（以下、「画素アレイＰＡ」とも呼ぶ。）における行方向において交互に隣り合わせになる関係にある。なお、ここでは、サブ画素セル５ａとサブ画素セル５ｂとが、画素アレイＰＡの行方向において交互に隣り合わせになる関係にあるとして説明するが、例えば、サブ画素セル５ａとサブ画素セル５ｂとが、画素アレイＰＡの列方向において交互に隣り合わせになる関係にあっても構わない。
【００７５】
図３は、画素セル１０の一例についての断面図であり、図４は、図３に示される画素セル１０の一例についての平面図である。
【００７６】
図３、図４に示されるように、画素セル１０は、一の開口（レンズ開口）内に、複数のサブ画素セル５（ここでは、サブ画素セル５ａとサブ画素セル５ｂ）を備える。そして、画素セル１０は、複数のサブ画素セル５（ここでは、サブ画素セル５ａとサブ画素セル５ｂ）で共用される一のカラーフィルタ２０１と、複数のサブ画素セル５（ここでは、サブ画素セル５ａとサブ画素セル５ｂ）で共用される一のオンチップマイクロレンズ２０２とを備える。
【００７７】
図３に示されるように、サブ画素セル５であるサブ画素セル５ａは、半導体基板２０の主平面上方に積層された第１電極１１（画素電極とも言う。）である第１電極１１ａと、第１電極１１ａよりも半導体基板２０から遠くに位置する第２電極１２（対向電極とも言う。）と、第１電極１１ａと第２電極１２との間に位置する光電変換部材１５を含む光電変換部１３である光電変換部１３ａを備える。
【００７８】
また、図３に示されるように、サブ画素セル５であるサブ画素セル５ｂは、半導体基板２０の主平面上方に積層された第１電極１１（画素電極とも言う。）である第１電極１１ｂと、第１電極１１ｂよりも半導体基板２０から遠くに位置する第２電極１２（対向電極とも言う。）と、第１電極１１ｂと第２電極１２との間に位置する光電変換部材１５を含む光電変換部１３である光電変換部１３ｂを備える。
【００７９】
光電変換部１３は、光電変換部材１５に入射した光に基づいて、電気信号を生成する。電気信号は、光の強さに依存する。
【００８０】
なお、光電変換部１３は、必ずしも、サブ画素セル５毎に独立した素子で構成されている必要はない。例えば、図３に示され一のサブ画素セル５に備えられた光電変換部１３の第２電極１２が、他のサブ画素セル５に備えられた光電変換部１３の第２電極１２とが共通の素子で構成されていても構わない。例えば、図３に示される一のサブ画素セル５に備えられた光電変換部１３の光電変換部材１５と、他のサブ画素セル５に備えられた光電変換部材１５とが共通の素子で構成されていても構わない。
【００８１】
図２において、信号検出回路１４は、光電変換部１３によって生成された電気信号を検出する回路である。同図に示されるように、信号検出回路１４は、信号検出トランジスタ２４とアドレストランジスタ２６とを含む。信号検出トランジスタ２４およびアドレストランジスタ２６は、典型的には、電界効果トランジスタ（ＦＥＴ）である。ここに示す例では、信号検出トランジスタ２４はＮチャンネルＭＯＳＦＥＴであり、アドレストランジスタ２６はＮチャンネルＭＯＳＦＥＴとする。
【００８２】
図２において模式的に示されるように、信号検出トランジスタ２４の制御端子（ここではゲート）は、光電変換部１３と電気的に接続される。光電変換部１３によって生成される電気信号の電荷（正孔または電子）は、信号検出トランジスタ２４のゲートと光電変換部１３との間の電荷蓄積ノード４１に蓄積される。この電荷蓄積ノード４１は、フローティングディフュージョンノード（ＦＤ）とも呼ばれる。
【００８３】
電極制御回路３２ａは、各画素セル１０が備える２つのサブ画素セル５の内の一方（ここでは、サブ画素セル５ａ）の第１電極１１ａの電位を制御する変調電圧源である。そして、電極制御回路３２ｂは、各画素セル１０が備える２つのサブ画素セル５の内の他方（ここでは、サブ画素セル５ｂ）の第１電極１１ｂの電位を制御する変調電圧源である。電極制御回路３２ａは、特定の電源回路に限定されない。電極制御回路３２ｂは、特定の電源回路に限定されない。
【００８４】
図３に示されるように、電極制御回路３２ａと電極制御回路３２ｂとは、それぞれ、容量Ｃを介して第１電極１１ａ、１１ｂに接続されている。このため、電極制御回路３２ａが第１電極１１ａの電位を制御しても対応する電荷蓄積ノード４１に蓄積される電荷の量は破壊されないし、電極制御回路３２ｂが第１電極１１ｂの電位を制御しても対応する電荷蓄積ノード４１に蓄積される電荷の量は破壊されない。
【００８５】
電極制御回路３２ａと電極制御回路３２ｂがそれぞれ行う第１電極１１ａの電位の制御及び、第１電極１１ｂの電位の制御の詳細については、後述する。例えば、電極制御回路３２ａと電極制御回路３２ｂとによって第１電極１１ａの電位、第１電極１１ｂの電位を切り替えられることができる。つまりサブセル毎に感度が調整でき、特定のサブセルの感度を最も低くすることで電子シャッタ動作が実現できる。
【００８６】
各サブ画素セル５は、電源電圧ＶＤＤを供給する電源線４０と接続される。図２に示されるように、電源線４０には、信号検出トランジスタ２４の入力端子（典型的にはドレイン）が接続されている。電源線４０がソースフォロア電源として機能することにより、信号検出トランジスタ２４は、光電変換部１３によって生成された信号を増幅して出力する。
【００８７】
信号検出トランジスタ２４の出力端子（ここではソース）には、アドレストランジスタ２６の入力端子（ここではドレイン）が接続されている。アドレストランジスタ２６の出力端子（ここではソース）は、画素アレイＰＡの列ごとに配置された複数の垂直信号線４７のうちの１つに接続されている。アドレストランジスタ２６の制御端子（ここではゲート）は、アドレス制御線４６に接続されており、アドレス制御線４６の電位を制御することにより、信号検出トランジスタ２４の出力を、対応する垂直信号線４７に選択的に読み出すことができる。
【００８８】
図２に図示される例では、アドレス制御線４６は、垂直走査回路（「行走査回路」とも呼ばれる）３６に接続されている。垂直走査回路３６は、アドレス制御線４６に所定の電圧を印加することにより、各行に配置された複数のサブ画素セル５を行単位で選択する。これにより、選択されたサブ画素セル５の信号の読み出しが実行される。
【００８９】
垂直信号線４７は、画素アレイＰＡからの画素信号を周辺回路へ伝達する主信号線である。垂直信号線４７には、カラム信号処理回路（「行信号蓄積回路」とも呼ばれる）３７が接続される。カラム信号処理回路３７は、相関二重サンプリングに代表される雑音抑圧信号処理およびアナログ−デジタル変換（ＡＤ変換）などを行う。図示するように、カラム信号処理回路３７は、画素アレイＰＡにおけるサブ画素セル５の各列に対応して設けられる。これらのカラム信号処理回路３７には、水平信号読み出し回路（「列走査回路」とも呼ばれる）３８が接続される。水平信号読み出し回路３８は、複数のカラム信号処理回路３７から水平共通信号線４９に信号を順次読み出す。
【００９０】
図２に例示する構成において、サブ画素セル５の各々は、リセットトランジスタ２８を有する。リセットトランジスタ２８は、例えば、信号検出トランジスタ２４およびアドレストランジスタ２６と同様に、電界効果トランジスタであり得る。以下では、特に断りの無い限り、リセットトランジスタ２８としてＮチャンネルＭＯＳＦＥＴを適用した例を説明する。図示するように、このリセットトランジスタ２８は、リセット電圧Ｖｒを供給するリセット電圧線４４と、電荷蓄積ノード４１との間に接続される。リセットトランジスタ２８の制御端子（ここではゲート）は、リセット制御線４８に接続されており、リセット制御線４８の電位を制御することによって、電荷蓄積ノード４１の電位をリセット電圧Ｖｒにして電荷蓄積ノード４１に蓄積された電荷をデスチャージ、すなわちサブ画素セル５をリセットすることができる。この例では、リセット制御線４８が、垂直走査回路３６に接続されている。したがって、垂直走査回路３６がリセット制御線４８に所定の電圧を印加することにより、各行に配置された複数のサブ画素セル５を行単位でリセットすることが可能である。
【００９１】
この例では、リセットトランジスタ２８にリセット電圧Ｖｒを供給するリセット電圧線４４が、リセット電圧源３４（リセット電圧供給回路）に接続されている。リセット電圧源３４は、電荷量取得回路１２０の動作時にリセット電圧線４４に所定のリセット電圧Ｖｒを供給可能な構成を有していればよく、特定の電源回路に限定されない。なお、電極制御回路３２ａ、電極制御回路３２ｂ、およびリセット電圧源３４の各々は、単一の電圧供給回路の一部分であってもよいし、独立した別個の電圧供給回路であってもよい。なお、電極制御回路３２ａ、電極制御回路３２ｂ、およびリセット電圧源３４の一部または全部が、垂直走査回路３６の一部分であってもよい。あるいは、電極制御回路３２ａ、電極制御回路３２ｂからの第２電極電圧（対向電極電圧）および／またはリセット電圧源３４からのリセット電圧Ｖｒが、垂直走査回路３６を介して各サブ画素セル５に供給されてもよい。
【００９２】
リセット電圧Ｖｒとして、信号検出回路１４の電源電圧ＶＤＤを用いることも可能である。この場合、各サブ画素セル５に電源電圧を供給する電圧供給回路（図２において不図示）と、リセット電圧源３４とを共通化し得る。また、電源線４０と、リセット電圧線４４を共通化できるので、画素アレイＰＡにおける配線を単純化し得る。ただし、リセット電圧Ｖｒと、信号検出回路１４の電源電圧ＶＤＤとに互いに異なる電圧を用いることは、電荷量取得回路１２０のより柔軟な制御を可能にする。
【００９３】
図５は、サブ画素セル５の例示的なデバイス構造を模式的に示す。図５に例示する構成では、上述の信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８が、半導体基板２０に形成されている。半導体基板２０は、その全体が半導体である基板に限定されない。半導体基板２０は、感光領域が形成される側の表面に半導体層が設けられた絶縁性基板などであってもよい。ここでは、半導体基板２０としてＰ型シリコン（Ｓｉ）基板を用いる例を説明する。
【００９４】
半導体基板２０は、不純物領域（ここではＮ型領域）２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓと、サブ画素セル５ａとサブ画素セル５ｂ間の電気的な分離のための素子分離領域２０ｔおよび画素セル１０間の電気的な分離のための素子分離領域２０ｔとを有する。ここでは、素子分離領域２０ｔは、不純物領域２４ｄと不純物領域２８ｄとの間にも設けられている。素子分離領域２０ｔは、例えば所定の注入条件のもとでアクセプタのイオン注入を行うことによって形成される。
【００９５】
不純物領域２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓは、典型的には、半導体基板２０内に形成された拡散層である。図５に模式的に示すように、信号検出トランジスタ２４は、不純物領域２４ｓおよび２４ｄと、ゲート電極２４ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２４ｓおよび２４ｄは、それぞれ、信号検出トランジスタ２４の例えばソース領域およびドレイン領域として機能する。不純物領域２４ｓと２４ｄとの間に、信号検出トランジスタ２４のチャネル領域が形成される。
【００９６】
同様に、アドレストランジスタ２６は、不純物領域２６ｓおよび２４ｓと、アドレス制御線４６（図２参照）に接続されたゲート電極２６ｇ（典型的にはポリシリコン電極）とを含む。この例では、信号検出トランジスタ２４およびアドレストランジスタ２６は、不純物領域２４ｓを共有することによって互いに電気的に接続されている。不純物領域２６ｓは、アドレストランジスタ２６の例えばソース領域として機能する。不純物領域２６ｓは、図５において不図示の垂直信号線４７（図２参照）との接続を有する。
【００９７】
リセットトランジスタ２８は、不純物領域２８ｄおよび２８ｓと、リセット制御線４８（図２参照）に接続されたゲート電極２８ｇ（典型的にはポリシリコン電極）とを含む。不純物領域２８ｓは、リセットトランジスタ２８の例えばソース領域として機能する。不純物領域２８ｓは、図５において不図示のリセット電圧線４４（図２参照）との接続を有する。
【００９８】
半導体基板２０上には、信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８を覆うように層間絶縁層５０（典型的には二酸化シリコン層）が配置されている。図示するように、層間絶縁層５０中には、配線層５６が配置され得る。配線層５６は、典型的には、銅などの金属から形成され、例えば、上述の垂直信号線４７などの配線をその一部に含み得る。層間絶縁層５０中の絶縁層の層数、および、層間絶縁層５０中に配置される配線層５６に含まれる層数は、任意に設定可能であり、図３に示す例に限定されない。
【００９９】
層間絶縁層５０上には、上述の光電変換部１３が配置される。別の言い方をすれば、本開示の実施形態では、画素アレイＰＡ（図２参照）を構成する複数のサブ画素セル５が、半導体基板２０上に形成されている。半導体基板２０上に２次元に配列された複数のサブ画素セル５は、感光領域（画素領域）を形成する。隣接する２つのサブ画素セル５間の距離（画素ピッチ）は、例えば２μｍ程度であり得る。
【０１００】
光電変換部１３は、第１電極１１と、第２電極１２と、これらの間に配置された光電変換部材１５とを含む。この例（図３）では、第２電極１２および光電変換部材１５は、複数のサブ画素セル５にまたがって形成されている。他方、第１電極１１は、サブ画素セル５ごとに設けられており、隣接する他のサブ画素セル５の第１電極１１と空間的に分離されることによって、他の画素セル１０の第１電極１１から電気的に分離されている。
【０１０１】
第２電極１２は、典型的には、透明な導電性材料から形成される透明電極である。第２電極１２は、光電変換部材１５において光が入射される側に配置される。したがって、光電変換部材１５には、第２電極１２を透過した光が入射する。なお、電荷量取得回路１２０によって検出される光は、可視光の波長範囲（例えば、３８０ｎｍ以上７８０ｎｍ以下）内の光に限定されない。本明細書における「透明」は、検出しようとする波長範囲の光の少なくとも一部を透過することを意味し、可視光の波長範囲全体にわたって光を透過することは必須ではない。本明細書では、赤外線および紫外線を含めた電磁波全般を、便宜上「光」と表現する。第２電極１２には、例えば、ＩＴＯ、ＩＺＯ、ＡＺＯ、ＦＴＯ、ＳｎＯ２、ＴｉＯ２、ＺｎＯ２などの透明導電性酸化物（Transparent Conducting Oxide（ＴＣＯ））を用いることができる。
【０１０２】
光電変換部材１５は、入射する光を受けて正孔−電子対を発生させる。光電変換部材１５は、典型的には、有機材料から形成される。
【０１０３】
図２を参照して説明したように、第２電極１２は、複数のサブ画素セル５にまたがって形成されている。したがって、所望の大きさの第２電極電圧（対向電極電圧）を複数のサブ画素セル５の間に一括して印加することが可能である。なお、複数のサブ画素セル５の間に一括して、所望の大きさの第２電極電圧（対向電極電圧）を印加することができれば、第２電極１２は、サブ画素セル５ごとに分離して設けられていてもよい。同様に、光電変換部材１５がサブ画素セル５ごとに分離して設けられていてもよい。
【０１０４】
電極制御回路３２は、露光期間と非露光期間との間で互いに異なる電圧を光電変換部１３に供給することで露光感度を制御する。本明細書において、「露光期間」は、光電変換により生成される正および負の電荷の一方（信号電荷）を電荷蓄積領域に蓄積するための期間を意味し、「電荷蓄積期間」と呼んでもよい。また、本明細書では、撮像装置の動作中であって露光期間以外の期間を「非露光期間」と呼ぶ。なお、「非露光期間」は、光電変換部１３への光の入射が遮断されている期間に限定されず、光電変換部１３に光が照射されている期間を含んでいてもよい。
【０１０５】
第１電極１１の電位に対する第２電極１２の電位を制御することにより、光電変換によって光電変換部材１５内に生じた正孔−電子対のうち、正孔および電子のいずれか一方を、第１電極１１によって収集することができる。しかしながら、第２電極１２は画素アレイ全面に設けられており、行毎または画素毎の制御が難しい。Ｌｉｎｅ／Ｓｐａｃｅの確保と各電極への信号配線を確保することで、第２電極１２をパターニングによりサブ画素単位に分割することで、第２電極１２の行毎または画素毎の制御を実現し得る。
【０１０６】
例えば信号電荷として正孔を利用する場合、第１電極１１よりも第２電極１２の電位を高くすることにより、第１電極１１によって正孔を選択的に収集することが可能である。以下では、信号電荷として正孔を利用する場合を例示する。もちろん、信号電荷として電子を利用することも可能である。
【０１０７】
第１電極１１は、第２電極１２と第１電極１１との間に適切なバイアス電圧が与えられることにより、光電変換部材１５において光電変換によって発生した正および負の電荷のうちの一方を収集する。第１電極１１は、アルミニウム、銅などの金属、金属窒化物、または、不純物がドープされることにより導電性が付与されたポリシリコンなどから形成される。
【０１０８】
第１電極１１を遮光性の電極としてもよい。例えば、第１電極１１として、厚さが１００ｎｍのＴａＮ電極を形成することにより、十分な遮光性を実現し得る。第１電極１１を遮光性の電極とすることにより、半導体基板２０に形成されたトランジスタ（この例では信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８の少なくともいずれか）のチャネル領域または不純物領域への、光電変換部材１５を通過した光の入射を抑制し得る。上述の配線層５６を利用して層間絶縁層５０内に遮光膜を形成してもよい。半導体基板２０に形成されたトランジスタのチャネル領域への光の入射を抑制することにより、トランジスタの特性のシフト（例えば閾値電圧の変動）などを抑制し得る。また、半導体基板２０に形成された不純物領域への光の入射を抑制することにより、不純物領域における意図しない光電変換によるノイズの混入を抑制し得る。このように、半導体基板２０への光の入射の抑制は、電荷量取得回路１２０の信頼性の向上に貢献する。
【０１０９】
図５に模式的に示すように、第１電極１１は、コンタクトプラグ５２、配線５３およびコンタクトプラグ５４を介して、信号検出トランジスタ２４のゲート電極２４ｇに接続されている。言い換えれば、信号検出トランジスタ２４のゲートは、第１電極１１との電気的な接続を有する。これらコンタクトプラグ５２、配線５３は、例えば銅などの金属から形成され得る。コンタクトプラグ５２、配線５３およびコンタクトプラグ５４は、信号検出トランジスタ２４と光電変換部１３との間の電荷蓄積ノード４１（図２参照）の少なくとも一部を構成する。配線５３は、配線層５６の一部であり得る。また、第１電極１１は、コンタクトプラグ５４、コンタクトプラグ５２、配線５３およびコンタクトプラグ５５を介して、不純物領域２８ｄにも接続されている。図５に例示する構成において、信号検出トランジスタ２４のゲート電極２４ｇ、コンタクトプラグ５２、配線５３、コンタクトプラグ５４および５５、ならびに、リセットトランジスタ２８のソース領域およびドレイン領域の一方である不純物領域２８ｄは、第１電極１１によって収集された信号電荷を蓄積する電荷蓄積領域として機能する。
【０１１０】
第１電極１１によって信号電荷が収集されることにより、電荷蓄積領域に蓄積された信号電荷の量に応じた電圧が、信号検出トランジスタ２４のゲートに印加される。信号検出トランジスタ２４は、このゲートに印加された電圧を増幅する。信号検出トランジスタ２４によって増幅された電圧が、信号電圧としてアドレストランジスタ２６を介して選択的に読み出される。
【０１１１】
本開示において、電極制御回路３２は、非露光期間に第２電極１２の電位に対する第１電極１１の電位を制御（変更）することで、露光感度を変更する（感度可変機能を実現する）。感度が最も低くなる電位を選択し、全画素同時に制御することで全画素のそれぞれに対して感度が最も低くなる電位を同時に与えることで、全画素の感度を同時に最も低くするグローバルシャッタ機能が実現できる。
【０１１２】
また、第２電極１２の電位制御では、第２電極１２をサブ画素毎に分割する必要があったが、第１電極１１による制御により、任意サブ画素単位での感度可変が可能となる。たとえば、行毎に第１電極１１の電位を制御することにより行毎のシャッタ動作であるローリングシャッタが実現できる。
【０１１３】
図３に示されるように、画素セル１０には、１つのレンズ開口内に２つの第１電極１１すなわち、第１電極１１ａと第１電極１１ｂとが設けられている。第１電極１１ａと第１電極１１ｂはそれぞれ対応する電荷蓄積ノード４１たるフローティングディフュージョンノードＦＤ１、ＦＤ２に接続される。上述したように、第１電極１１ａの電位は、電極制御回路３２ａによって制御され、第１電極１１ｂの電位は、電極制御回路３２ｂによって制御される。電極制御回路３２ａと電極制御回路３２ｂとは、互いに異なる変調を行ってもよい。この構成により、同一の視野を有するサブ画素セル５ａ、サブ画素セル５ｂに対して、異なる変調を同時に適用することができる。
【０１１４】
なお、図３ではサブ画素セル５内のトランジスタ等の表記は省略している。
【０１１５】
図４に示されるように、画素セル１０を平面視した場合に、画素セル１０には、一のオンチップマイクロレンズ２０２、および一のカラーフィルタ２０１に対して、第１電極１１ａと第１電極１１ｂとが、同じ大きさで、並んで配置されている。なお、第１電極１１ａと第１電極１１ｂとの大きさ及び/または配置はこの限りではない。更に、第１電極１１ａと第１電極１１ｂとの間に電荷捕獲範囲を制御するシールド電極を挿入しても良い。
【０１１６】
以上の説明では、１つのレンズ開口内に２つの第１電極１１である第１電極１１ａと第１電極１１ｂを設けて、それぞれに異なる変調を行うとしたが、１つのレンズ開口内に３つ以上の第１電極１１を設けて、それぞれに異なる変調を行っても良い。この場合、各画素セル１０は、自身に含まれる第１電極１１の数だけ、画素アレイＰＡにおいて隣接する（例えば、画素アレイＰＡにおける行方向又は列方向に連続して並ぶ）サブ画素セル５を備える構成となる。
【０１１７】
図６は、１つのレンズ開口内に３つの第１電極１１を備え、第１電極１１のそれぞれに対して、互いに異なる３つの変調を実施する、画素セル１０の一例についての断面図であり、図７は、図６に示される画素セル１０の一例についての平面図である。
【０１１８】
図７に示されるように、画素セル１０を平面視した場合に、画素セル１０には、一のオンチップマイクロレンズ２０２、および一のカラーフィルタ２０１に対して、第１電極１１ａと第１電極１１ｂと第１電極１１ｃとが、同じ大きさで、等間隔に直線状に並んで配置されている。なお、第１電極１１ａと第１電極１１ｂと第１電極１１ｃとの大きさ及び/または配置はこの限りではない。更に、第１電極１１ａと第１電極１１ｂとの間、および第１電極１１ｂと第１電極１１ｃとの間に電荷捕獲範囲を制御するシールド電極を挿入しても良い。本構成により、同一の空間情報に対して、３つの変調を同時に適用することができる。
【０１１９】
また、以上の説明では、複数の第１電極１１に対して一つのオンチップマイクロレンズ２０２を配置するとしたが、複数の第１電極１１の各々にオンチップマイクロレンズ２０２を配置するとしても構わない。図８は、複数の第１電極１１の各々（ここでは、第１電極１１ａと第１電極１１ｂと第１電極１１ｃの各々）にオンチップマイクロレンズ２０２（ここでは、オンチップマイクロレンズ２０２ａとオンチップマイクロレンズ２０２ｂとオンチップマイクロレンズ２０２ｃ）を配置した画素セル１０の一例についての断面図であり、図９は、図８に示される画素セル１０の一例についての平面図である。このような構成の場合、オンチップマイクロレンズ２０２の開口ごとに１つの電荷量（変調情報）しか取得できないが、隣り合ったサブ画素セル５では視野がほぼ等しく、また、等しいカラーフィルタを有するため、視野の等しい複数の電荷量を取得することが可能である。
【０１２０】
次に、電荷量取得回路１２０によって取得された電荷量を利用した３次元モーション推定方法について説明する。ここでは、画素セル１０は、図６、図７に示されるように、１つのレンズ開口内に３つの第１電極１１である第１電極１１ａ、第１電極１１ｂ、第１電極１１ｃを備える、すなわち、３つのサブ画素セル５であるサブ画素セル５ａ、サブ画素セル５ｂ、サブ画素セル５ｃを備える構成であるとして説明する。
【０１２１】
図１０は、本実施形態における３次元モーション取得装置１における処理（以下、この処理のことを「第１処理」とも呼ぶことがある。）の例を示すフローチャートである。
【０１２２】
図１１は、光源１１０の時間発光パターンと、各画素セル１０の変調露光パターンとの関係を示す模式図である。
【０１２３】
（ステップＳ１００）
制御部１３１は、図示しないメモリから時間発光パターンを読み出し、光源１１０に読み出した時間発光パターンに従って発光することを指示する。制御部１３１は、図示しないメモリから電極制御回路３２ａ、電極制御回路３２ｂ、電極制御回路３２ｃのそれぞれに対応する変調露光パターンを読み出し、電極制御回路３２ａ、電極制御回路３２ｂ、電極制御回路３２ｃのそれぞれに読み出した対応する時間発光パターンに従って変調信号を発生することを指示する。
【０１２４】
制御部１３１は、時間発光パターンと変調露光パターンとの出力を制御する。制御部１３１は、例えば、時間発光パターンと変調露光パターンとが同期するように、時間発光パターンと変調露光パターンとの出力を制御する。例えば、制御部１３１は、光源１１０に時間発光パターンに沿った発光の開始時刻、電極制御回路３２ａに対応する時間発光パターンに従った変調信号の発生の開始時刻、電極制御回路３２ｂに対応する時間発光パターンに従った変調信号の発生の開始時刻、電極制御回路３２ｃに対応する時間発光パターンに従った変調信号の発生の開始時刻を指示してもよい。
【０１２５】
（ステップＳ１０１）
光源１１０は、制御部１３１から指示された時間発光パターンに従い、被写体に対して発光する。
【０１２６】
図１１の一番上のグラフに、発光部１０２の時間発光パターンが示されている。ここで、時間発光パターンの一例は、サイン波（正弦波）である。サイン波の周波数が高い場合、測定できる距離分解能は高くなるが、測定できる距離範囲は狭くなる。一方、周波数が低い場合、測定できる距離分解能は低くなるが、測定できる距離範囲は広くなる。周波数の一例は、１ＭＨｚ以上数百ＧＨｚ以下であるが、これに限定されない。
【０１２７】
（ステップＳ１０２）
電荷量取得回路１２０は、制御部１３１から指示された時間発光パターンに従い、光源１１０が被写体を照射した状態で、制御部１３１から指示された変調露光パターンに従って、１開口内で異なる３つのサブ画素セルの電荷量（多重変調情報）を取得する。ここで、図１１の上から２つ目〜４つ目のグラフに、制御部１３１によって設定された３つの変調露光パターンが示されている。
【０１２８】
同図に示されるように、各変調露光パターンは、一定の時間区間を有する。そして、各変調露光パターンは、時間区間の各時刻のそれぞれに、露光感度が対応付けられている。電荷量取得回路１２０は、各画素セル１０において、第１の変調露光パターンにおけるサブ画素セル５ａの第１の電荷量と、第２の露光変更パターンにおけるサブ画素セル５ｂの第２の電荷量と、第３の露光変更パターンにおけるサブ画素セル５ｃの第３の電荷量とを取得する。これら３つの変調露光パターンは、具体的には以下の通りである。
【０１２９】
パターン１：第１の変調露光パターンは、時間発光パターンと同じ周波数を有し、かつ、時間発光パターンと位相が異なる信号である。ただし、負の値を持たないように、バイアスを有する。
【０１３０】
パターン２：第２の変調露光パターンは、第１の変調露光パターンと同じ周波数及びバイアスを有し、かつ、第１の変調露光パターンと位相が異なる信号である。例えば、第２の変調露光パターンの位相は、第１の変調露光パターンの位相と９０度異なる。なお、第２の変調露光パターンは、第１の変調露光パターンと同じ周波数及びバイアスを有し、かつ、第１の変調露光パターンと位相が異なり、かつ、時間発光パターンと位相が異なる信号であってもよい。
【０１３１】
パターン３：第１の変調露光パターンのバイアス成分を有する信号である。
【０１３２】
（ステップＳ１０３）
距離推定部１３２は、電荷量取得回路１２０が取得した１開口内で異なる３つの画素セルの電荷量であるサブ画素セル５ａの第１の電荷量、サブ画素セル５ｂの第２の電荷量、サブ画素セル５ｃの第３の電荷量から、被写体までの距離を推定する。
【０１３３】
（ステップＳ１０４）
オプティカルフロー推定部１３３は、電荷量取得回路１２０が取得した１開口内で異なる３つの画素セルの電荷量であるサブ画素セル５ａの第１の電荷量、サブ画素セル５ｂの第２の電荷量、サブ画素セル５ｃの第３の電荷量から、被写体の画像上での動きを表現したオプティカルフローを推定する。
【０１３４】
（ステップＳ１０５）
出力部１３４は、距離推定部１３２が推定した距離と、オプティカルフロー推定部１３３が推定したオプティカルフローを統合し、被写体の３次元モーション情報を出力する。
【０１３５】
次に、ステップＳ１０３とステップＳ１０４の処理に関して、詳しく説明する。
【０１３６】
まず、ステップＳ１０３の距離情報の推定方法について説明する。光源１１０における時間発光パターンＬ（ｔ）を次式で表現する。
【０１３７】
【数１】
2018142878.tif 000005
【０１３８】
ここで、Δｔはフレームレートの逆数、φはフレームタイミングとの時間差を示す位相差、Ｎは１フレーム間での発光パターンの周期数（図１１ではＮ＝１２）である。前述のように、発光パターンの周波数ＮはＭＨｚからＧＨｚ程度であればよい。また、式１では、光源１１０の輝度は０〜２に正規化しているが、もちろん、輝度範囲は何でも構わない。
【０１３９】
この光が、被写体で反射した場合、電荷量取得回路１２０には以下のＬｓ（ｔ）の信号が到来すると想定できる。
【０１４０】
【数２】
2018142878.tif 000006
【０１４１】
ここで、θは光源１１０と被写体の距離Ｌ１と、被写体と電荷量取得回路１２０の距離Ｌ２とに依存した遅延量であり、以下の関係を満たす。
【０１４２】
【数３】
2018142878.tif 000007
【０１４３】
ただし、ｖｃは光速である２９９，７９２，４５８［ｍ／ｓｅｃ］である。ここで、光源１１０と電荷量取得回路１２０の位置がほぼ等しいとすると、電荷量取得回路１２０と被写体の距離Ｌは次式で表現できる。
【０１４４】
【数４】
2018142878.tif 000008
【０１４５】
つまり、遅延量θを推定することで、被写体までの距離Ｌを推定することができる。
【０１４６】
ここで、制御部１３１は、電荷量取得回路１２０の３つの変調露光パターンｓ０（ｔ），ｓ１（ｔ），ｓ２（ｔ）を、次式のように設定する。
【０１４７】
【数５】
2018142878.tif 000009
【０１４８】
ところで、式５において、電荷量取得回路１２０の３つの変調露光パターンは０〜２に正規化しているが、もちろん、この範囲でなくても構わない。
【０１４９】
３つの変調露光パターンが式５のとき、電荷量取得回路１２０が取得する３つの電荷量ｆｓ０、ｆｓ１、ｆｓ２は以下のようになる。
【０１５０】
【数６】
2018142878.tif 000010
【０１５１】
【数７】
2018142878.tif 000011
【０１５２】
【数８】
2018142878.tif 000012
【０１５３】
よって、以下の関係式が成り立つ。
【０１５４】
【数９】
2018142878.tif 000013
【０１５５】
ここで、φは制御部１３１によって制御可能なパラメータであり、既知である。よって、式９より、被写体の距離情報であるθを推定することが可能である。また、この方法では、１周期以上の位相差は検出できないため、距離の推定可能範囲は以下の通りである。
【０１５６】
【数１０】
2018142878.tif 000014
【０１５７】
そのため、制御部１３１は必要な距離範囲から最適な時間発光パターン及び変調露光パターンを計算することができる。例えば、１ＧＨｚのパターンを利用する場合、検出範囲は１５ｃｍ程度までである。また、１００ＭＨｚのパターンを利用する場合は１５０ｃｍ程度まで、１０ＭＨｚのパターンを利用する場合は１５ｍ程度まで、１ＭＨｚのパターンを利用する場合は１５０ｍ程度まで検出できる。そのため、波長を適切に設定することにより、必要な範囲の距離推定が可能である。
【０１５８】
次に、ステップＳ１０４において、オプティカルフロー推定部１３３によるオプティカルフロー推定方法について説明する。
【０１５９】
光源１１０における時間発光パターンＬ（ｔ）は式１と同じであり、電荷量取得回路１２０の３つの変調露光パターンｓ０（ｔ），ｓ１（ｔ），ｓ２（ｔ）も式５と同じである。
【０１６０】
まず、オプティカルフロー拘束式を利用したオプティカルフロー推定方法について説明する。時刻ｔにおける画像上の画素座標（ｘ、ｙ）における輝度値をｆ（ｘ、ｙ、ｔ）とする。被写体の明るさはフレーム間で変化しないとすると、以下のオプティカルフロー拘束式が成り立つ。
【０１６１】
【数１１】
2018142878.tif 000015
【０１６２】
ここで、微小時間Δｔで各画素の輝度変化が一定とすると、以下の関係式が成り立つ。
【０１６３】
【数１２】
2018142878.tif 000016
【０１６４】
ただし、（ｖｘ、  ｖｙ）は画像上の画素座標（ｘ、ｙ）におけるオプティカルフローである。この式を書き直すと、以下の関係式が求まる。
【０１６５】
【数１３】
2018142878.tif 000017
【０１６６】
式１３において未知数はｖｘとｖｙの２つに対して、方程式は１つのため、このままでは解くことはできない。そのため、従来のオプティカルフロー拘束式を利用したオプティカルフロー推定方法では、この式に加え、オプティカルフローが近傍間で大きく変化しない、スパースであるなどの何らかの拘束条件を与えることでオプティカルフローを推定していた。そのため、実際とは異なる前提条件が必要になり、推定精度が劣化する原因となっていた。
【０１６７】
また、式１３の右辺は、画像上の輝度値ｆ（ｘ、ｙ、ｔ）の時間微分を示しているが、通常、Δｔをフレーム間の時間とすることにより、時間的に異なる２フレームから計算する。これは、フレーム間で各画素の輝度変化が一定であると仮定していることになる。しかし、この仮定はエッジなどを含む被写体においては成り立たず、オプティカルフロー推定結果が劣化する原因となっていた。
【０１６８】
以上から、従来のオプティカルフロー拘束式を用いたオプティカルフロー推定方法では、以下の２点の課題が存在していた。
【０１６９】
課題１：オプティカルフロー拘束式に加え、何らかの拘束条件が必要。
【０１７０】
課題２：フレーム間で各画素の輝度変化が一定であると仮定。
【０１７１】
一方、本実施形態におけるオプティカルフロー推定部１３３では、電荷量取得回路１２０によって取得された３つの電荷量を利用することで、上記２つの課題を解決する。
【０１７２】
ここで、変調露光パターンｓ（ｔ）で電荷量を取得すること考えると、オプティカルフロー拘束式は以下のようになる。
【０１７３】
【数１４】
2018142878.tif 000018
【０１７４】
このとき、変調露光をすることで、オプティカルフロー拘束式の条件「被写体の明るさはフレーム間で変化しない」を満たさないよう見えるが、そのようなことはない。これは、式１４の第一項において、積分処理を行っているが、この微小区間内では輝度は一定であると仮定できるためである。
【０１７５】
ところで、部分積分法
【０１７６】
【数１５】
2018142878.tif 000019
【０１７７】
を利用すると、式１４は以下のように変形される。
【０１７８】
【数１６】
2018142878.tif 000020
【０１７９】
よって、式５の変調露光パターンｓ０（ｔ），  ｓ１（ｔ），  ｓ２（ｔ）であるとき、電荷量取得回路１２０が取得する３つの電荷量ｆｓ０，ｆｓ１，ｆｓ２において、以下の関係式が成り立つ。
【０１８０】
【数１７】
2018142878.tif 000021
【０１８１】
【数１８】
2018142878.tif 000022
【０１８２】
ただし、
【０１８３】
【数１９】
2018142878.tif 000023
【０１８４】
式１４、式１８、式１９より、以下の関係式が導かれる。
【０１８５】
【数２０】
2018142878.tif 000024
【０１８６】
書き直すと、
【０１８７】
【数２１】
2018142878.tif 000025
【０１８８】
この式において未知数はｖｘとｖｙの２つに対して、方程式も２つのため、何らかの拘束条件を与えることなく、オプティカルフローを推定することができる。以上より、本実施形態に係るオプティカルフロー推定部１３３は、被写体による３つの電荷量を取得することにより、１枚の画像からオプティカルフローを推定できる。また、フレーム間で各画素の輝度変化が一定であるという仮定も利用しないため、高精度の推定が可能である。加えて、拘束式のうち、オプティカルフロー拘束式のみを利用し、他の拘束式を利用していないため、より正確なオプティカルフローの推定が可能である。
【０１８９】
以上の説明では、まず、距離推定部１３２によって距離を推定し、その次にオプティカルフロー推定部１３３によってオプティカルフローを推定するとして説明をした。しかしこの順番は逆でも構わないし、並列に処理しても構わない。もちろん、この処理は繰り返し行われるため、距離推定部１３２とオプティカルフロー推定部１３３の処理の順番は逆でも構わない。
【０１９０】
以上のように、本実施形態の３次元モーション取得装置１は、電荷量取得回路１２０により１開口内で異なる３つの電荷量を取得することにより、高精度の３次元モーション情報を取得できる。
【０１９１】
上記例では、画素セル１０が、１つのレンズ開口内に３つの第１電極１１である第１電極１１ａ、第１電極１１ｂ、第１電極１１ｃを備える、すなわち、３つのサブ画素セル５であるサブ画素セル５ａ、サブ画素セル５ｂ、サブ画素セル５ｃを備える構成である例であった。
【０１９２】
これに対して、次に、画素セル１０は、図３、図４に示されるように、１つのレンズ開口内に２つの第１電極１１である第１電極１１ａ、第１電極１１ｂを備える、すなわち、２つのサブ画素セル５であるサブ画素セル５ａ、サブ画素セル５ｂを備える構成である例について説明する。この例では、距離推定部１３２の処理と、オプティカルフロー推定部１３３の処理とを時分割に切り替えて実行する。
【０１９３】
ここでは、第１処理の場合と同様に、距離推定部１３２によって距離を推定し、その次にオプティカルフロー推定部１３３によってオプティカルフローを推定するとして説明をする。もちろん、この処理は繰り返し行われるため、距離推定部１３２とオプティカルフロー推定部１３３の処理の順番は逆でも構わない。
【０１９４】
図１２は、１開口内で異なる２つの電荷量を取得する３次元モーション取得装置１における処理の例を示すフローチャートである。図１２において、図１０と同一の構成要素に関しては、同一の符号を付す。
【０１９５】
図１３は、光源１１０の時間発光パターンと、被写体による反射光パターンと、各画素セル１０の変調露光パターンとの関係を示す模式図である。後述するように、光源１１０の時間発光パターンは、距離検出用の時間変調パターンと、オプティカルフロー検出用の時間変調パターンとを繰り返す。
【０１９６】
（ステップＳ１００）
制御部１３１は、図示しないメモリから時間発光パターンを読み出し、光源１１０に読み出した時間発光パターンに従って発光することを指示する。制御部１３１は、図示しないメモリから電極制御回路３２ａ、電極制御回路３２ｂのそれぞれに対応する変調露光パターンを読み出し、電極制御回路３２ａ、電極制御回路３２ｂのそれぞれに読み出した対応する時間発光パターンに従って変調信号を発生することを指示する。
【０１９７】
制御部１３１は、時間発光パターンと変調露光パターンとの出力を制御する。制御部１３１は、例えば、時間発光パターンと変調露光パターンとが同期するように、時間発光パターンと変調露光パターンとの出力を制御する。例えば、制御部１３１は、光源１１０に時間発光パターンに沿った発光の開始時刻、電極制御回路３２ａに対応する時間発光パターンに従って変調信号の発生の開始時刻、電極制御回路３２ｂに対応する時間発光パターンに従って変調信号の発生の開始時刻を指示してもよい。
【０１９８】
（ステップＳ１０１）
光源１１０は、制御部１３１から指示された距離検出用の時間発光パターンに従い、被写体に対して発光を行なう。図１３の一番上のグラフに、このときの光源１１０の時間発光パターンを示す。ここでは時間発光パターンは矩形波であり、その時間幅はＴｐ［ｓｅｃ］である。光源１１０が照射した光は、被写体に反射して、光源１１０と被写体の距離Ｌ１と、被写体と電荷量取得回路１２０の距離Ｌ２との和Ｌに依存した遅延θを持って、電荷量取得回路１２０へ戻る。ここで、電荷量取得回路１２０へ戻った反射光は、光源１１０だけではなく、外光成分の影響も受ける。図１３の上から２つ目のグラフに、このような反射光成分が模式的に示されている。ここで、外光成分は露光時間によらず一定であるとする。
【０１９９】
（ステップＳ１０７）
電荷量取得回路１２０は、制御部１３１から指示された時間発光パターンで光源１１０が被写体を照射した状態で、制御部１３１から指示された変調露光パターンに従って、１開口内で異なる２つのサブ画素セルの電荷量（多重変調情報）を取得する。ここで、各ＦＤに対応する変調露光パターンは、距離検出用の変調露光パターン（ＦＤ１においてはｓ１１（ｔ）、ＦＤ２においてはｓ２１（ｔ））とオプティカルフロー検出用の変調露光パターン（ＦＤ１においてはｓ１２（ｔ）、ＦＤ２においてはｓ２２（ｔ））とを時間的に切り替えている。図１３の上から３つ目〜４つ目のグラフに、制御部１３１が設定した２つの変調露光パターンが示されている。
【０２００】
同図に示されるように、各変調露光パターンは、一定の時間区間を有する。そして、各変調露光パターンは、時間区間の各時刻のそれぞれに、露光感度が対応付けられている。電荷量取得回路１２０は、各画素セル１０において、第１の変調露光パターンにおけるサブ画素セル５ａの第１の電荷量と、第２の露光変更パターンにおけるサブ画素セル５ｂの第２の電荷量とを取得する。ここでは、前半で距離検出用の変調露光、後半はオプティカルフロー検出用の変調露光を行なうとする。まず、サブ画素セル５ａに含まれるＦＤ１の距離検出用変調パターンｓ１１（ｔ）における変調露光は、光源１１０の発光時と同じタイミングで露光を行い、一定時間後に露光を停止する（図１３）。このときの電荷量をｓｆ１１とする。さらに、光源１１０から出射される光の影響を受けない時間に、同じ露光時間で２回目の露光を行う。このときの電荷量をｓｆ１２とする。同様に、サブ画素セル５ｂに含まれるＦＤ２のＴＯＦ用変調パターンｓ２１（ｔ）における変調露光は、まず、光源１１０の発光停止時と同じタイミングで露光を行い、一定時間後に露光を停止する。このときの電荷量をｓｆ２１とする。さらに、光源１１０から出射される光の影響を受けない時間に、同じ露光時間で２回目の露光を行ない、このときの電荷量をｓｆ２２とする。ＦＤ２の２回目の露光は、ＦＤ１の２回目の露光時間と等しくても構わない。
【０２０１】
ここで、ＦＤ１、ＦＤ２ともに１回目の露光には光源１１０から出射される光の影響があるが、２回目の露光では光源１１０から出射される光の影響はない。そのためこの二つの電荷量の差分を求めることにより、環境光の影響を除去した発光パターン成分ｆｓｐ１、ｆｓｐ２を下記のように計算することができる。
【０２０２】
【数２２】
2018142878.tif 000026
【０２０３】
もちろん、光源１１０の発光パターンの影響を受けないｓｆ１２，ｓｆ２２を、ｓｆ１１，ｓｆ２１の前に取得しても構わない。
【０２０４】
（ステップＳ１０８）
距離推定部１３２は、電荷量取得回路１２０が取得した１開口内で異なる２つサブ画素セル５ａ、サブ画素セル５ａの電荷量から、被写体までの距離を推定する。前述のように、光源１１０と電荷量取得回路１２０の位置がほぼ等しいとすると、電荷量取得回路１２０と被写体の距離Ｌは次式で表現できる。
【０２０５】
【数２３】
2018142878.tif 000027
【０２０６】
以上のように、本実施形態の距離推定部１３２は、電荷量取得回路１２０により１開口内で異なる２つサブ画素セル５ａ、サブ画素セル５ａの電荷量をそれぞれ取得することにより、被写体までの距離を推定することができる。
【０２０７】
（ステップＳ１０９）
次に、オプティカルフロー推定部１３３は、電荷量取得回路１２０が取得した１開口内で異なる２つサブ画素セル５ａ、サブ画素セル５ａの電荷量から、被写体の画像上での動きを表現したオプティカルフローを推定する。前述のように、式１３において未知数はｖｘとｖｙの２つに対して、方程式は１つのため、このままでは解くことはできない。そのため、従来のオプティカルフロー拘束式を利用したオプティカルフロー推定方法では、この式に加え、オプティカルフローが近傍間で大きく変化しない、スパースであるなどの何らかの拘束条件を与えることでオプティカルフローを推定していた。そのため、実際とは異なる前提条件が必要になり、推定精度が劣化する原因となっていた。
【０２０８】
ここで、変調露光パターンｓ（ｔ）で電荷量を取得すること考えると、オプティカルフロー拘束式は式１２になる。
【０２０９】
さらに、
【０２１０】
【数２４】
2018142878.tif 000028
【０２１１】
は［０，Δｔ］で一定であるとすると、次式が成り立つ。
【０２１２】
【数２５】
2018142878.tif 000029
【０２１３】
よって、信号ｓ１２（ｔ）とｓ２２（ｔ）によって変調露光したサブ画素セル５ａの電荷量ｆｓ１（ｔ）とサブ画素セル５ａの電荷量ｆｓ２（ｔ）が取得できれば、式１３は以下のように変形される。
【０２１４】
【数２６】
2018142878.tif 000030
【０２１５】
この式において未知数はｖｘとｖｙの２つに対して、方程式も２つのため、何らかの拘束条件を与えることなく、オプティカルフローを推定することができる。以上より、本実施形態のオプティカルフロー推定部１３３は、被写体に関する２つの電荷量であるサブ画素セル５ａ電荷量、サブ画素セル５ｂの電荷量を取得することにより、２枚の画像とオプティカルフロー拘束式のみを利用し、他の拘束式を利用せずに、より正確なオプティカルフローの推定が可能である。
【０２１６】
（ステップＳ１０５）
出力部１３４は、距離推定部１３２が推定した距離と、オプティカルフロー推定部１３３が推定したオプティカルフローを統合し、被写体の３次元モーション情報を出力する。
【０２１７】
以上のように、本実施形態の３次元モーション取得装置１は、電荷量取得回路１２０により１開口内で異なる２つの電荷量を取得することにより、高精度の３次元モーション情報を取得できる。
【０２１８】
もちろん、図８、図９で説明したように、異なる２つの電荷量は、１開口内ではなく、隣り合った開口であっても構わない。
【０２１９】
（実施の形態２）
図１４は、本開示の一実施形態に係る３次元モーション取得装置２の構成を示すブロック図である。同図において、図１と同じ構成要素には、同一の符号を付し、説明を省略する。同図に示されるように、本実施形態の３次元モーション取得装置２は、本体部３と発光部４とから構成される。
【０２２０】
本体部３は、電荷量取得回路１２０と、プロセッサ１３０と、送信部１０７とを含んで構成される。
【０２２１】
発光部４は、光源１１０と、受信部１０８とを含んで構成される。
【０２２２】
送信部１０７は、プロセッサ１３０から出力される信号を、無線又は有線にて受信部１０８に送信する機能を有する。より具体的には、光源１１０を制御部１３１によって生成された発光パターンで発光させるための発光制御信号を、受信部１０８に送信する機能を有する。一例として、送信部１０７は、無線通信機能を有する通信用ＬＳＩと送信用アンテナとを含む送信回路によって実現される。
【０２２３】
受信部１０８は、送信部１０７から、無線又は有線にて送信された信号を受信して、受信した信号を光源１１０に出力する機能を有する。より具体的には、送信部１０７から送信された発光制御信号を受信して光源１１０に出力する機能を有する。一例として、受信部１０８は、無線通信機能を有する通信用ＬＳＩと受信用アンテナとを含む受信回路によって実現される。なお、ここでは、受信部１０８は、光源１１０の外部ブロックであるとして説明したが、光源１１０が受信部１０８を含んでいる、すなわち、光源１１０が受信部１０８の機能を有しているとしても構わない。
【０２２４】
図１５は、本実施形態における３次元モーション取得装置２における処理の例を示すフローチャートである。同図において、図１０と同じ構成要素には、同一の符号を付し、説明を省略する。この処理は、図１０に記載された第１処理に対して、ステップＳ１１０の処理とステップＳ１１１の処理とが追加された処理となっている。ここでは、これらステップＳ１１０の処理とステップＳ１１１の処理とについて説明する。
【０２２５】
（ステップＳ１１０）
ステップＳ１００の処理が終了すると。送信部１０７は、制御部１３１によって設定された時間発光パターンを、受信部１０８に送信する。
【０２２６】
（ステップＳ１１１）
受信部１０８は、送信部１０７から送信された時間発光パターンを受信し、光源１１０に出力する。
【０２２７】
以上のように、本実施形態に係る３次元モーション取得装置２は、実施の形態１に係る３次元モーション取得装置１と同様に、高精度の３次元モーション情報を取得できる。
【０２２８】
（補足）
３次元モーション取得装置１、２における各構成要素は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）または、ＬＳＩ内部の回路セルの接続及び/または設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０２２９】
また、上述した各種処理（例えば、図１０、１２、１６に示す手順等）の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、３次元モーション取得装置に含まれるプロセッサがメモリに記憶された制御プログラムを実行することにより実現されるものである。また、その制御プログラムを記録媒体に記録して頒布及び/または流通させてもよい。例えば、頒布された制御プログラムを３次元モーション取得装置にインストールして、その３次元モーション取得装置のプロセッサに実行させることで、その３次元モーション取得処理装置に各種処理（例えば、図１０、１２、１６に示す手順等）を行わせることが可能となる。
【０２３０】
また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
【産業上の利用可能性】
【０２３１】
本開示は、被写体の距離情報と動き情報との両方を取得する装置において広く利用可能である。
【符号の説明】
【０２３２】
１，２  ３次元モーション取得装置
３  本体部
４  発光部
５，５ａ，５ｂ，５ｃ  サブ画素セル
１０  画素セル
１１，１１ａ，１１ｂ，１１ｃ  第１電極
１２  第２電極
１３，１３ａ，１３ｂ  光電変換部
１５  光電変換部材
２０  半導体基板
３２，３２ａ，３２ｂ，３２ｃ  電極制御回路
１０７  送信部
１０８  受信部
１１０  光源
１２０  電荷量取得回路
１３０  プロセッサ
１３１  制御部
１３２  距離推定部
１３３  オプティカルフロー推定部
１３４  出力部
【図１】
2018142878.tif 000031
【図２】
2018142878.tif 000032
【図３】
2018142878.tif 000033
【図４】
2018142878.tif 000034
【図５】
2018142878.tif 000035
【図６】
2018142878.tif 000036
【図７】
2018142878.tif 000037
【図８】
2018142878.tif 000038
【図９】
2018142878.tif 000039
【図１０】
2018142878.tif 000040
【図１１】
2018142878.tif 000041
【図１２】
2018142878.tif 000042
【図１３】
2018142878.tif 000043
【図１４】
2018142878.tif 000044
【図１５】
2018142878.tif 000045
【国際調査報告】
2018142878.tif 000046
2018142878.tif 000047
2018142878.tif 000048
2018142878.tif 000049