(57)【要約】【課題】深度撮像装置は、飛行時間型動作を実施して、物体の深度又は距離を測定し得る。【解決手段】深度撮像装置は、光を場面へ放射し、センサアレイを用いて場面内の物体から反射される光を感知し得る。反射光がセンサアレイに当たるタイミングが、場面内の物体の深度又は距離についての情報を与える。いくつかの場合において、センサアレイの画素の視野の外側にある破損光が、深度撮像装置内で発生する内部散乱又は内面反射に起因して、画素に当たることがある。破損光は、深度又は距離測定を破損し得る。この問題に対処するために、改善された深度撮像装置が、深度撮像装置内で発生する内部散乱又は内面反射に起因する破損光を隔離及び測定し、系統的に、深度又は距離測定から測定された破損光を除去し得る。 【選択図】図１０
2019219400.tif 000002
【特許請求の範囲】
【請求項１】
内面反射に起因する破損光に反応しない、深度を測定する方法であって、
光を光源によって場面へ放射することと、
破損光が画素に当たるが、前記画素の視野内の物体からの戻り光が前記画素に当たらない第１の期間の間に、前記画素に当たっている光に基づいて電荷を収集するように、前記画素の第１の電荷蓄積ユニットを制御することによって、破損光測定を行うことと、
前記破損光測定に基づいて、前記破損光による影響を受けた１つ以上の測定から前記破損光からの寄与を除去することと、
前記破損光からの前記寄与が除去された前記１つ以上の測定に基づいて、前記深度を判断することと、を含む、方法。
【請求項２】
前記第１の期間が、前記破損光の一部分が収集された後、かつ前記物体からの前記戻り光が前記画素に当たる前に終了する、請求項１に記載の方法。
【請求項３】
前記破損光測定を利得係数によってスケールすることによって、前記破損光からの前記寄与を判断することをさらに含む、請求項２に記載の方法。
【請求項４】
内面反射及び背景光に起因する破損光に反応しない、深度を測定する方法であって、
第１の破損光測定を第１の開始時間を有する第１の放射光パルスで行うことと、
第２の破損光測定を第２の放射光パルスで行うことであって、前記第２の放射光パルスが、前記第１の放射光パルスと同一のパルス形状を有し、前記第２の放射光パルスが、前記第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する、行うことと、
前記破損光からの寄与が除去された１つ以上の測定に基づいて前記深度を判断することであって、前記破損光からの前記寄与が、前記第１の破損光測定及び前記第２の破損光測定に基づく、判断することと、を含む、方法。
【請求項５】
前記第２の放射光パルスが、前記第１の放射光パルスと同一の持続期間を有する、請求項４に記載の方法。
【請求項６】
前記第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、第１のセンサ信号を用いて電荷を収集することを含み、
前記第２の破損光測定を行うことが、前記画素の第２の電荷蓄積ユニットを制御して、前記第１のセンサ信号と同一の開始時間、同一の形状、及び同一の持続期間を有する第２のセンサ信号を用いて電荷を収集することを含む、請求項４に記載の方法。
【請求項７】
前記第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、前記第１の開始時間に、又は前記第１の開始時間前に電荷の収集を開始し、前記第２の開始時間後に電荷の収集を停止することを含む、請求項４に記載の方法。
【請求項８】
前記第２の破損光測定を行うことが、画素の第２の電荷蓄積ユニットを制御して、前記第１の開始時間に、又は前記第１の開始時間前に電荷の収集を開始し、前記第２の開始時間後に電荷の収集を停止することを含む、請求項４に記載の方法。
【請求項９】
前記第１の破損光測定と前記第２の破損光測定との間の差が、前記破損光からの前記寄与をもたらす、請求項４に記載の方法。
【請求項１０】
前記第１の破損光測定と前記第２の破損光測定との間の差が、前記所定の時間量に対応するパルス幅を有する放射光パルスで行われる破損光測定に相当する、請求項４に記載の方法。
【請求項１１】
利得係数によりスケールされた前記第１の破損光測定と前記第２の破損光測定との間の差だけ、所与の測定を減算することによって、前記破損光からの前記寄与を前記１つ以上の測定のうちの前記所与の測定から除去することをさらに含む、請求項４に記載の方法。
【請求項１２】
前記利得係数が、前記所与の測定において捕捉される破損光と前記差において捕捉される破損光の量との比率である、請求項１１に記載の方法。
【請求項１３】
背景光を測定するために、いかなる放射光パルスも用いずに第３の測定を行うことと、
所与の測定から前記第３の測定を減算することによって、前記１つ以上の測定のうちの前記所与の測定から、背景光からの寄与を除去することと、をさらに含む、請求項４に記載の方法。
【請求項１４】
（１）利得係数によってスケールされた第１の測定、及び（２）背景光の第３の測定を、画素の第１の電荷蓄積ユニットにおいて加算することと、
（１）前記利得係数によってスケールされた第２の測定、及び（２）前記１つ以上の測定のうちの所与の測定を、前記画素の第２の電荷蓄積ユニットにおいて加算することと、請求項４に記載の方法。
【請求項１５】
内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、前記深度撮像装置が、
センサアレイであって、前記センサアレイの第１のセンサが、
第１の測定及び第１の破損光測定を行い、累積するように制御可能な第１の電荷蓄積ユニット、
第２の測定及び第２の破損光測定を行い、累積するように制御可能な第２の電荷蓄積ユニット、並びに
背景光測定及び前記第２の破損光測定を行い、累積するように制御可能な第３の電荷蓄積ユニットを含む、センサアレイと、
深度推定を形成するために、前記センサアレイから信号を受信及び処理する処理回路と、を備える、深度撮像装置。
【請求項１６】
光源を制御して、
前記第１の破損光測定のために、第１の開始時間を有する第１の光パルスを放射し、
前記第２の破損光測定のために、第２の光パルスを放射する、ドライバをさらに備え、
第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、前記第２の放射光パルスが、前記第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する、請求項１５に記載の深度撮像装置。
【請求項１７】
前記第１の破損光測定及び前記第２の破損光測定のうちのそれぞれ１つが、ある数の反復された測定を含み、
前記数が、利得係数に対応する、請求項１５に記載の深度撮像装置。
【請求項１８】
前記利得係数が、前記第１の測定において捕捉される破損光の量、並びに前記第１及び第２の破損光測定において捕捉される破損光の量に依存する、請求項１７に記載の深度撮像装置。
【請求項１９】
前記処理回路が、
前記第１のセンサについて、前記第１の電荷蓄積ユニットによって収集される電荷、前記第２の電荷蓄積ユニットによって収集される電荷、及び前記第３の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する、請求項１５に記載の深度撮像装置。
【請求項２０】
前記処理回路が、
前記比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する、請求項１９に記載の深度撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権出願
【０００２】
本特許出願は、２０１８年６月２１日に出願された、「ＭＥＡＳＵＲＩＮＧ  ＡＮＤ  ＲＥＭＯＶＩＮＧ  ＴＨＥ  ＣＯＲＲＵＰＴＩＯＮ  ＯＦ  ＴＩＭＥ−ＯＦ−ＦＬＩＧＨＴ  ＤＥＰＴＨ  ＩＭＡＧＥＳ  ＤＵＥ  ＴＯ  ＩＮＴＥＲＮＡＬ  ＳＣＡＴＴＥＲＩＮＧ」と題する米国仮出願第６２／６８７，８５１号に対する優先権を主張し、かつ優先権の利益を受け、その全体が本明細書に組み込まれる。本特許出願は、また、２０１８年８月７日に出願された、「ＡＶＯＩＤＩＮＧ  ＴＨＥ  ＣＯＲＲＵＰＴＩＯＮ  ＯＦ  ＴＩＭＥ−ＯＦ−ＦＬＩＧＨＴ  ＤＥＰＴＨ  ＩＭＡＧＥＳ  ＤＵＥ  ＴＯ  ＩＮＴＥＲＮＡＬ  ＳＣＡＴＴＥＲＩＮＧ」と題する米国仮出願第６２／７１５，６９５号に対する優先権を主張し、かつ優先権の利益を受け、その全体もまた本明細書に組み込まれる。
【０００３】
本開示は、集積回路の分野に関し、特に、飛行時間型深度撮像のための回路に関する。
【背景技術】
【０００４】
深度撮像技術は、飛行時間型カメラ及び距離計において実施されている。深度撮像技術は、光源をパルスにすることと、反射光を測定して、物体の存在、距離情報、深度情報、及び／又は速度情報を感知することと、を含む。これらの光学システムは、セキュリティシステム、医療システム、自動車システム、航空宇宙システム、民生用電子デバイスなどの幅広い用途を有する。
【０００５】
深度撮像装置は、光源（例えば、発光ダイオード、レーザなど）を含み得る。深度撮像装置は、また、場面の深度画像を生成するセンサアレイを含み得る。センサアレイでは、各画素が、その画素の視野内の物体までの距離を記憶する。このような撮像装置は、ＲＧＢ（ｒｅｄ−ｇｒｅｅｎ−ｂｌｕｅ）画像、又は赤外画像などの、場面の正則画像も同時に出力し得る。
【０００６】
深度画像を生成する深度撮像技術の例が、飛行時間型撮像である。飛行時間型は、光源に、光を場面へ放射させることによって動作する。光は、その際、場面内の物体に反射する。反射光は、センサアレイに当たる。センサアレイによって生成される信号が、距離情報を計算し、深度画像を形成するために使用され得る。
【図面の簡単な説明】
【０００７】
本開示、並びにその特徴及び利点のより完全な理解をもたらすために、以下の説明に対して参照が行われ、添付図面と併せて用いられる。添付図面において、類似の参照番号は、類似の部分を表す。
【０００８】
【図１】図１は、本開示のいくつかの実施形態による、深度撮像装置、及び飛行時間型動作を示す。
【図２】図２は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る例示的な測定を示す。
【図３】図３は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る例示的な測定を示す。
【図４】図４は、本開示のいくつかの実施形態による、背景光を考慮してセンサアレイにおける画素によって実行され得る例示的な測定を示す。
【図５】図５は、本開示のいくつかの実施形態による、画素に当たる外来光源についての異なるシナリオを示す。
【図６】図６は、本開示のいくつかの実施形態による、画素に当たる外来光源についての異なるシナリオを示す。
【図７】図７は、本開示のいくつかの実施形態による、画素に当たる外来光源についての異なるシナリオを示す。
【図８】図８は、本開示のいくつかの実施形態による、破損光を隔離及び測定する技術を示す。
【図９】図９は、本開示のいくつかの実施形態による、破損光を隔離及び測定する別の技術を示す。
【図１０】図１０は、本開示のいくつかの実施形態による、任意に短いパルスを効果的に取得する技術を示す。
【図１１】図１１は、本開示のいくつかの実施形態による、光パルスがオフになった後でセンサをオンにすること（又は光の収集を開始する）を示す。
【図１２】図１２は、本開示のいくつかの実施形態による、光パルスがオフになった後でセンサをオンにする（又は光の収集を開始する）技術を用いて距離を測定することを示す。
【発明を実施するための形態】
【０００９】
本開示の例としての実施形態の説明
【００１０】
概要
【００１１】
深度撮像装置は、飛行時間型動作を実施して、物体の深度又は距離を測定し得る。深度撮像装置は、光を場面へ放射し、センサアレイを用いて場面内の物体から反射される光を感知し得る。反射光がセンサアレイに当たるタイミングが、場面内の物体の深度又は距離についての情報を与える。いくつかの場合において、センサアレイの画素の視野の外側にある破損光が、深度撮像装置内で発生する内部散乱又は内面反射に起因して、画素に当たることがある。破損光は、深度又は距離測定を破損し得る。この問題に対処するために、改善された深度撮像装置が、深度撮像装置内で発生する内部散乱又は内面反射に起因する破損光を隔離及び測定し、系統的に、深度又は距離測定から測定された破損光を除去し得る。
【００１２】
飛行時間型測定を破損し得る発生源
【００１３】
典型的には、深度撮像装置の光源は、センサアレイの近くにあり（又は、センサアレイに隣接し）、センサアレイが可動式の場合、センサアレイと共に移動する（例えば、光源は、センサアレイを基準として固定された位置にある）。簡略化のため、センサアレイは、本明細書において「センサ」と称されることがある。いくつかの他の場合、静止光源も同様に、又は経時的に位置が分かる任意の光源も考えられる。
【００１４】
深度撮像装置の光源がセンサの近くにある場合に言及すると、光が返ってセンサに当たるのにかかる時間は、物体までの距離に比例すると理解され得る。より正確には、物体の深度Ｄは、式によって与えられる。
【数１】
2019219400.tif 000003
ここで、cは、光の速度、tRは、光が物体まで進み、戻り、センサに当たるのにかかる時間である。式（１）の２の因子は、光が物体まで進み、物体から戻らなければならないことに起因する。tRとDとの間の関係は、異なり得る。いくつかの場合、センサに対する光源の位置に依存する式（１）よりも複雑化する。
【００１５】
図１は、本開示のいくつかの実施形態による、深度撮像装置、及び飛行時間型動作を示す。深度撮像装置は、光を放射する光源１０２、センサアレイ１０４、及びレンズ１０６を含む。場面は、複数のオブジェクト、例えば、オブジェクト１１０、オブジェクト１１２、及びオブジェクト１１４を有し得る。光源１０２は、１つ以上のレーザダイオードを含み得る。いくつかの実施形態では、光源１０２は、垂直共振器面発光レーザ、又は端面発光レーザなどの発光素子を含み、いくつかの場合、発光素子が光を送っている場面の部分に影響を及ぼすための拡散器と組み合わされる。センサアレイ１０４は、２次元領域上に配置される電荷結合素子（ＣＣＤ）センサ又はＣＭＯＳセンサを含み得る。センサアレイ１０４におけるセンサは、画素と称される。深度撮像装置は、光源１０２及びセンサアレイ１０４を制御及び駆動するドライバ１８０（例えば、電子駆動回路）を含んでもよい。深度撮像装置は、深度推定を形成するためにセンサアレイ１０４からの信号を受信及び処理する処理回路１９０を含んでもよい。
【００１６】
放射光は、物体から跳ね返り、戻ってセンサアレイ１０４に当たることがある。物体からの戻り光を除いて、センサアレイ１０４は、飛行時間型測定を破損し得る他の外来光をさらに受信し得る。外来光の１つの形態は、背景（ＢＧ）光である。ＢＧ光は、日光、システムに関連しない他の光源、及び他の深度撮像装置に関連する光源などの、他の発生源から生じ得る。ＢＧ光に対していくらかの許容誤差を有する飛行時間型深度撮像装置を設計することが望ましい。
【００１７】
深度撮像装置は、最小距離Dmin及び最大距離Dmaxによって定義される、動作深度範囲を有し得る。動作深度範囲外では、深度撮像装置は、距離を報告しない。Dminがゼロでない１つの理由は、Dminよりも近くのある反射率の物体についての戻り光が、戻り光がセンサアレイ１０４を飽和させるほど強いということであり得る。Dmaxは、典型的には、それを超えると距離を判断するのに十分な光がセンサアレイ１０４に戻らない距離である。１つの例では、深度撮像装置がその動作深度範囲についての最小距離Dminを有するとすると、光が最小距離Dminを進み、戻ってくるための最小時間tminは、したがって
【数２】
2019219400.tif 000004
である。Dmin及びtminは、個々の深度撮像装置に依存し得る。
【００１８】
センサアレイ１０４内の各画素について深度を取得するために、測定のセットが、各画素において実行される。測定のセットは、深度を算出するために情報を提供する。各画素は、それぞれの深度が、算出又は推定されることを可能にし、センサアレイ１０４は、それぞれの深度に基づいて深度画像を生成し得る。図２は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る測定を示す。測定は、放射光（例えば、プロット２０２）、画素に到達する光（例えば、プロット２０４）、センサ信号（例えば、プロット２０６）、及び収集される信号（例えば、プロット２０８）によって定義され得る。放射光は、光源（例えば、光源１０２）がオン及びオフにされる時までに要求される。図示される例では、放射光は、時間t=0及びt=TLの間（例えば、持続期間はTLである）、オンにされる。光源は、時間t=0及びt=TLの間隔の外側ではオフである。開始時間、放射光がオンにされる時は、時刻が定義される基準としてt=0であるように設定される。画素に到達する光は、ＢＧ光（測定の過程を通して緩やかに変動していると仮定される）、及び物体から反射される戻り光を含み得る。物体から反射される光は、t=tRにおいて画素に到達し得る。センサ信号は、画素に到達する光を画素が感知するための時間間隔を要求する。センサ信号は、画素についての統合期間を定義し得、そこで、画素は、画素に到達する光の光子に基づいて、電荷を収集又は累積する。図示される例では、画素は、t=t1とt=t1+Tsの間（例えば、持続期間がTsである）に光を感知している。いくつかの場合において、t1=tminである。いくつかの場合において、Ts=TLである。収集された信号は、ＢＧ光及び統合期間の間に画素に当たる、物体から反射された戻り光を含み得る。簡略化のため、１つの測定を行うように画素を制御するために、１つのセンサ信号だけが示されている。実際には、画素は、複数の光測定をそれぞれ収集する複数の電荷蓄積ユニットを有し得る。したがって、複数の別個のセンサ信号が、電荷蓄積ユニットを個別に異なるタイミングで制御するために使用され得る。
【００１９】
画素によって行われた測定についての表記は、M(X,Y,Z)である。ここで、Xは、光源１０２がオフにされる時間（又は、t=0からの放射光の持続期間）を示し、Ｙは、画素が光を感知し始める開始時間を示し、Ｚは、画素が光を感知している時間間隔の持続期間を示す。図２に示される測定は、M(TL,t1,Ts)である。Ｙは、負の値であり得、測定に依存する。
【００２０】
正確な測定を実現するために、光源１０２を正確に制御すること、及び光源１０２をオン又はオフにすることが可能であることが望ましい。例えば、t=0において光源１０２をオンにし、t=TLにおいて光源をオフにすることが可能な、深度撮像装置におけるドライバ１８０を有することが望ましい。ドライバ１８０は、十分に短い立ち上がり時間及び立ち下がり時間で光源１０２を駆動する信号を生成し得ることが好ましい。
【００２１】
図２に戻って参照すると、画素は、到来する光子を電子に変換し、それらの電子を電荷蓄積ユニットに蓄積し得る。電荷蓄積ユニットは、異なるセンサタイミングを実現し、異なる測定を行うように、異なるセンサ信号で個別に制御され得る。所与の画素のための電荷蓄積ユニットは、Si(i=0,...,N-1)と示され、ここで、Ｎは、画素毎の電荷蓄積ユニットの数である。例えば、各画素は、光子を感知し、光子を電子に変換する１つ以上のフォトダイオード（又は感光性素子）と、電子を蓄積し、電荷蓄積ユニットとして動作する１つ以上のコンデンサと、を含む。センサ信号は、指定されたタイミングでコンデンサによる電子の収集を開始及び停止し得る。一連のコンデンサが、メモリ素子、即ち、電荷蓄積ユニットとして考えられ得、それが、異なる収集された光測定を記憶する。正確な測定を実現するために、センサ信号を正確に制御すること、並びに、電荷蓄積ユニットに正確なタイミングで光を感知することを開始及び停止させることが可能であることが望ましい。画素の電荷蓄積ユニットに蓄積される電荷の量は、処理回路１９０によって読み出され、深度を算出するために処理回路１９０によって処理され得る。
【００２２】
いくつかの場合において、深度は、３つの電荷蓄積ユニットによって収集された３つの光測定から推定され得る。深度は、ＢＧ光への耐性のあるスキームに基づいて推定され得る。画素は、３つの電荷蓄積ユニット、S0、S1及びS2を含んでもよく、それらは、異なる収集された光測定を記憶し得る。光源１０２は、時間t=0からt=TLまでオンであってもよい。S0は、時間t=t0からt=t0+TLまで光を収集し得る。S0によって行われている測定は、M(TL,t0,TL)である。S1は、時間t=t1からt=t1+TLまで光を収集し得る。S1によって行われている測定は、M(TL,t1,TL)である。１つの場合において、t1=t0+TLである。S2は、時間TLの間光源１０２をオフにしてＢＧ光を収集し得る。S2は、時間t=-t2からt=-t2+TLまで光を収集し得る。S2によって行われている測定は、M(TL,-t2,TL)である。１つの場合において、t2=TLであり、したがって、S2は、時間t=-t2=-TLからt=0まで光を収集し得る。別の場合において、S2は、M(0,0,TL)であり、光源は、測定の間オフのままであり、したがって、S2は、ＢＧ光を捕捉しているだけである。光源が光を放射していないため、S2は、反射光を少しも収集しない。一般的に述べると、光源がオンである前の期間中、測定S2は、ＢＧ光を収集する。画素についての深度Ｄは、以下の例示的な式を算出することによって取得され得る。
【数３】
2019219400.tif 000005
これは、t1=t0+Ts、
【数４】
2019219400.tif 000006
であるときに取得される。式（２）は、画素が３つの電荷蓄積について光を感知している時間間隔の持続期間が、３つの測定全てについて同じTLであるときに取得され、それは、一般的な場合である必要はない。
【００２３】
S0及びS1により収集された光は、S2によって収集されたＢＧ光を減算することによって、ＢＧ光について個別に調整される。深度は、ＢＧ光S2についての調整が実行された後で、S0及びS1により収集された光の総量に対するS1によって収集された光の比率に基づいて算出される。したがって、ＢＧ光を測定するS2が、S0及びS1によって行われた測定から減算されるため、式（２）で算出された深度Ｄ、及び説明された測定は、背景光に耐性がある／反応しないという利点を有する。
【００２４】
電荷蓄積ユニットS0、S1、及びS2によって行われる測定は、複数回反復され得、収集される光は、信号強度を増大させるために、それぞれの電荷蓄積ユニット（又は他の回路）において加算／累積され得る。電荷蓄積ユニットにおいて加算される反復された測定が、深度計算のために用いられ得る。反復数が、各電荷蓄積ユニットについて異なっている場合、それは、信号対雑音比を増加させるためにいくつかの場合では有利であり得、蓄積ユニットにおける値が、反復数で除算されてもよく、その結果得られる値が、深度推定のために用いられ得る。
【００２５】
電荷蓄積ユニットは、好適なセンサ信号を用いて、反復された測定の加算又は累積をハードウェアにおいて実行し得る。同一の電荷蓄積ユニットは、電子をダンプすることなく、又は測定の合間に電荷蓄積ユニットをリセットすることなく、複数の測定を行うために適切なセンサ信号で複数回オンにされ得る。測定が反復されるにつれて、電子は、同一の電荷蓄積ユニット内で加算／累積され続ける。
【００２６】
図２に戻って参照すると、図示されるプロットは、理想的／完璧な矩形パルスを有し、式（２）における算出は、光源１０２が、高速（ゼロ）立ち上がり時間でオンにされ、高速（ゼロ）立ち下がり時間でオフにされ、電荷蓄積ユニットが、完全にオフ又は完全にオンのいずれかであると、仮定する。実際には、信号の実際上の立ち上がり時間及び立ち下がり時間、並びにセンサの感度についての電子ハードウェアの制限に起因して、放射光についてのプロット２０２、及びセンサ信号についてのプロット２０６は、完全な矩形パルス形状を有しない可能性が高い。図３は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る例示的な測定を示す。光源１０２による放射光（例えば、プロット３０２）は、時間に依存して変動し得る強度を有する。これは、光源１０２の物理的制限、並びに光源１０２を駆動する信号の制限された立ち上がり時間及び立ち下がり時間に起因する。放射光は、
【数５】
2019219400.tif 000007
と表され、それは、時間の関数としての出力電力である。TLは、光源１０２がオンである時間量である。画素に到達する光（例えば、プロット３０４）は、一部放射光の結果であり、それもまた、放射光と類似の形状を有する。画素に到達する光は、
【数６】
2019219400.tif 000008
と表され、ここで、ａは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、ｂは、ＢＧ光の量（例えば、経時的に一定）であり、tRは、光が場面内の物体まで進み、かつ物体から戻る時間の量である。センサ信号（例えば、プロット３０６）は、また、光子変換効率（例えば、到来する光子毎に収集される電子の数）を変動させる時間を有してもよく、センサ信号もまた、制限された立ち上がり時間及び立ち下がり時間を有してもよい。光子変換効率は、センサ信号の強度とともに増大し得る。センサ信号（例えば、その光子変換効率を時間の関数として表す）は、
【数７】
2019219400.tif 000009
によって表される。ここで、t1は、電荷蓄積ユニットがオンになり始める時間であり、TSは、電荷蓄積ユニットがオンである時間量である。収集された信号（例えば、プロット２０８）は、画素に到達する光及びセンサ信号の結果であり、それもまた、非理想的な形状を有する。時間の関数として、収集された信号は
【数８】
2019219400.tif 000010
によって表され、それは、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定は、収集された信号の積分
【数９】
2019219400.tif 000011
である。
【００２７】
図４は、本開示のいくつかの実施形態による、背景光を考慮して、センサアレイにおける画素によって実行され得る例示的な測定を示す。先に考察される通り、深度推定実行時に測定におけるＢＧ光を減算するために、電荷蓄積ユニットS0、S1、及びS2で３つの測定を取ることが可能である。光源１０２による放射光（例えば、プロット４０２）は、
【数１０】
2019219400.tif 000012
と表される。TLは、光源１０２がオンである時間量である。画素に到達する光（例えば、プロット４０４）は、
【数１１】
2019219400.tif 000013
と表される。３つのセンサ信号は、３つの電荷蓄積ユニットS0、S1、及びS2で３つの測定を行うために使用される。
【００２８】
S0は、センサ信号（例えば、プロット４０６）によって制御され、それは、
【数１２】
2019219400.tif 000014
によって表される。ここで、t0は、電荷蓄積ユニットがオンになり始める時間であり、TSは、電荷蓄積ユニットがオンである時間量である。S0によって行われる測定は、M(TL,t0,TS)である。S0についての収集された信号は、
【数１３】
2019219400.tif 000015
によって表され得る。収集された電子の数を表すS0による測定は、収集された信号の積分
【数１４】
2019219400.tif 000016
である。
【００２９】
S1は、センサ信号（例えば、プロット４０８）によって制御され、それは、
【数１５】
2019219400.tif 000017
によって表される。ここで、t1は、電荷蓄積ユニットがオンになり始める時間であり、TSは、電荷蓄積ユニットがオンである時間量である。S1によって行われる測定は、M(TL,t1,TS)である。S1についての収集された信号は、
【数１６】
2019219400.tif 000018
によって表され得る。S1は、時間t=t1からt=t1+TSまで光を収集し得る。収集された電子の数を表す測定が、収集された信号の積分
【数１７】
2019219400.tif 000019
である。１つの場合において、t1=t0+TSである。いくつかの場合において、t1は、２つの時間間隔のいくらかの重複を見込むために、予め定義された量だけt0+TSよりわずかに少ない。重複は、パルス形状が理想的でないとき、特に有利であり得る。いくつかの場合において、測定S1の一部が、小さく、したがって雑音があるように、測定S1を行うためのセンサ信号は、パルスがゼロでない時間間隔の端付近では比較的小さな値を有してもよい。このような場合、t1の開始時間を予め定義された量だけt0+TSよりわずかに小さくなるように変更することによって、戻り信号、及びしたがって、対象となる深度範囲にわたる信号対雑音比が増加し得る。
【００３０】
S2は、時間TSの間光源１０２をオフにしてＢＧ光を収集し得る。S2センサ信号（例えば、プロット４１０）は、
【数１８】
2019219400.tif 000020
によって表される。ここで、-t2は、電荷蓄積ユニットがオンになり始める時間であり、TSは、電荷蓄積ユニットがオンである時間量である。S2によって行われる測定は、M(TL,-t2,TS)である。S2は、時間t=-t2からt=-t2+TSまで光を収集し得る。S2についての収集された信号は、
【数１９】
2019219400.tif 000021
によって表され得る。収集された電子の数を表す測定が、収集された信号の積分
【数２０】
2019219400.tif 000022
である。１つの場合において、t2=TSであり、したがって、S2は、時間t=-t2=-TSからt=0まで光を収集し得る。
【００３１】
電荷蓄積ユニットは、同一の時間量TSの間全て必ずしもオンにならず、持続期間が、互いに異なり得る。いくつかの場合において、持続期間TSのうちの１つ以上が、TLに等しくなり得る。深度推定についての比率を算出する前に、S2による測定は、ＢＧ光から測定への寄与を除去するために、S0及びS1から減算される。S0及びS1が、同一のパルス形状を有しないセンサ信号によって制御される場合、いくつかの場合にそれらが同一幅のパルスでない場合であり得、それらが捕捉する背景光の量が異なっていてもよく、その場合において、S2は、S0及びS1についてそれぞれ異なる係数で乗算され得、その後、背景光の正しい量を減算するために、S0及びS1それぞれから減算され得る。
【００３２】
プロットが完璧な矩形パルスを有しないことを考慮に入れ、正確な深度推定を取得するために、深度の関数として比率
【数２１】
2019219400.tif 000023
を測定し、ルックアップテーブルに値を記憶することが可能である。異なる比率の値が、ルックアップテーブルのインデックスの役割をする。ルックアップテーブルは、
【数２２】
2019219400.tif 000024
であるように関数Ｈ（ｘ）を実施し、推定される深度が非理想的なパルス形状について調整されることを可能にする。言い換えると、比率
【数２３】
2019219400.tif 000025
に基づくルックアップテーブルからの結果は、正しい深度推定を出力し得る。Ｈ（ｘ）についての値は、Ｈ（ｘ）が既知であるｘの値の間で外挿法によって推定され得る。深度の式は、以下のようになる。
【数２４】
2019219400.tif 000026
【００３３】
内面反射が測定を破損する
【００３４】
飛行時間型撮像装置での問題の１つは、以下の通りである。各画素が、その視野に対応する場面の一部分からのみ光を受信するという仮定である。異なる言い方をすると、各画素がその視野内の物体から光を捕捉するという仮定である。その視野内の物体からレンズに入る光全てが、その画素のみの上に焦点を合わせる。しかしながら、場面内のどこか他の場所の物体からの光が、複数の内部散乱事象又は複数の内面反射を経験する場合、この光は、物体がその視野内にない画素に当たってしまうことがある。その結果、場面の一部からの光が、場面の異なる部分に視野が対応する画素からの測定を破損することが考えられる。
【００３５】
これは、ＢＧ光を除いて、画素に到達する光が、内部散乱事象又は複数の内面反射に起因する光などの、他の外来光を含み得ることを意味する。この光、即ち、破損光又は外来光は、光が当たってしまう画素の深度推定に著しく影響を及ぼし得る。この効果は、カメラ付近の物体には強い場合があり、そこでは、センサに当たる光の量が大きい。手持ちデバイスの場合、指又は手の他の部分が、（意図せずに）カメラの非常に近くにある場合があり、そこでは、効果が強いことがある。画素の視野が遠くの物体を指しているシナリオにおいて、及び画素の視野の外側の場面の別の部分において、センサアレイ１０４の非常に近くの物体があり、その効果は明白であり得る。センサに戻ってくる光の量は、距離とともに二次的に衰え得る。即ち、その視野が所与の物体である画素に当たる光が、1/D2に比例する。ここで、Dは、物体までの距離である。したがって、付近の物体は、遠くの物体から戻ってくる光と比較して、大量の光がセンサに返ってくることにつながり得る。遠くの物体からの信号量は、比較すると相対的に低いため、破損光は、深度推定に著しく影響を及ぼし得る。複数の内面反射は、物体がセンサ内の画素の多く又は全てを破損することにつながり得る。
【００３６】
この内面反射問題は、マルチパス問題と同一ではないことに留意されたい。マルチパス問題では、反射は、互いから数センチメートル又は数メートル離れ得る、場面内の複数の物体からである。内面反射問題は、マルチパス問題とは全く異なる課題である。なぜなら、仮定される反射が、深度撮像装置にかなり近い距離（数センチ、又は数ミリメートルの範囲内）において起こり得るからである。この差によって、マルチパス問題に対するほとんどの手法が、内面反射に対処するには実用的でなくなっており、いくつかの場合において、これらの手法は、本明細書で説明される方法よりもはるかに多くの測定を潜在的に要求し得る。
【００３７】
図５〜７は、本開示のいくつかの実施形態による、画素に当たっている外来光源についての例示的なシナリオを示す。図５において、付近の物体１１０に反射する光が、レンズ１０６及びセンサアレイ１０４の間で複数の跳ね返りを経験することが分かる。光は、レンズを通過し、センサアレイ１０４から跳ね返り、レンズに跳ね返り、異なる画素上のセンサアレイ１０４に当たり得る。図６において、付近の物体１１０（例えば、画素の視野の外側の物体）に反射する光が、レンズ１０６の内側で複数の跳ね返りを経験することが分かる。いくつかの深度撮像装置では、入念な光学設計（例えば、レンズのセット、及び反射防止コーティングを用いて）が、問題を軽減し得るが、完全に影響を除去することは困難であり得る。
【００３８】
図７において、光が、画面７０４上の汚れ７０２に反射し得ることが分かる。汚れ７０２は、レンズを保護している画面７０４上に残された油膜又は残留物であり得る。このシナリオは、深度撮像装置を有する手持ちデバイスでは一般的であり得る。汚れ７０２は、画面７０４上の望ましくない物質の単なる一例である。内面反射を引き起こし得る他の望ましくない物質は、埃及び水滴を含み得る。例えば、センサの近くに埃があるとき、付近の物体のブレに起因して、埃によって大きな円盤状のものが深度撮像装置内に出現し得る（例えば、システムは、場面内に大きな円盤状のものがあると解釈し得る）。
【００３９】
内面反射からの破損光が深度推定に影響を及ぼさないと保証することが、有利である。
【００４０】
破損光を個別に測定し、深度推定に対するその影響を除去する
【００４１】
先に考察される通り、内面反射問題は、センサ付近に物体があるときに、最も重大である。そのような付近の物体は、距離DIRよりも近い（ＩＲは、内面反射の略語である）。DIRは、数センチメートル程度であり得る。典型的には、深度撮像装置の動作範囲の最小距離Dminは、DIRよりも大きい。
【００４２】
破損光が深度計算に影響を及ぼさないことを確認するための１つの技術は、破損光を個別に測定すること、及び深度推定へのその影響又は寄与を除去することである。図８は、本開示のいくつかの実施形態による、破損光を隔離し、測定する技術を示す。例えば、画素の視野の外側の破損させる物体からの光、及び画素の視野内の物体からの反射光が、時間的に分離されるように、放射光の幅又は持続期間TLを十分短くすることが可能である。電荷蓄積ユニットが、ＢＧ光及び破損光を捕捉し、かつ画素の視野内の物体からの反射光を捕捉しないように期待されるときに、画素の電荷蓄積ユニットは、次いで、期間内に光を感知及び収集するように制御され得る。一度ＢＧ光及び破損光の測定が行われると、適切な利得係数を適用し、ＢＧ光及び破損光の測定を、破損光によって影響を受ける他の測定から減算することが可能である。
【００４３】
光源１０２による放射光（例えば、プロット８０２）は、
【数２５】
2019219400.tif 000027
によって表される。TCは、光源１０２がオンである時間量である。TCは、画素の視野内の物体に反射する戻り光及び破損光を時間的に分離するには十分短い。画素の視野内の物体に反射する戻り光（例えば、プロット８０４）は、
【数２６】
2019219400.tif 000028
によって表される。ここで、aRは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、tRは、光が視野内の物体まで進み、物体から戻るための時間量である。内面反射に起因する破損光（例えば、プロット８０６）は、
【数２７】
2019219400.tif 000029
によって表される。ここで、aBは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、tBは、光が１つ以上の内面反射後に画素に戻るための時間量である。物体からの戻り光及び破損光は、時間的に重複しないことが分かる。画素に到達する光（例えば、プロット８０８）は、
【数２８】
2019219400.tif 000030
と表され、それは、物体に反射する戻り光、破損光、及びＢＧ光（bによって表される）の組み合わせである。電荷蓄積ユニットは、-tCにおいて、及びTSの持続期間中に、光を感知し始めるように、センサ信号（例えば、プロット８１０）によって制御され得る。センサ信号は、
【数２９】
2019219400.tif 000031
によって表される。電荷蓄積ユニットによる測定は、F=M(TC,-tc,TS)である。１つの場合において、TS=tc+tminであり、したがって、測定は、M(TC,-tC,tC+tmin)である。別の場合において、TSを除くtC<TS<tC+tminは、破損光につながる付近の物体とセンサとの間のいくらかの最大距離を仮定して、内面反射に起因する光を全て収集するために十分大きく選択される。DC,maxが、センサと破損光につながる物体との間の最大距離である場合、TSは、
【数３０】
2019219400.tif 000032
より大きくなるように選択され得る。収集される信号（例えば、プロット８１２）は、破損光及びＢＧ光の結果であり、
【数３１】
2019219400.tif 000033
によって表される。関数
【数３２】
2019219400.tif 000034
は、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定が、収集された信号の積分
【数３３】
2019219400.tif 000035
である。この測定（本明細書ではFと称され、M(TC,-ｔC,TS)と示され得る）は、ＢＧ光bからの寄与（本明細書ではBGと称される）、内面反射に起因する破損光
【数３４】
2019219400.tif 000036
からの寄与（本明細書では破損光Cと称される）、及び画素の視野内の物体に反射する戻り光からの寄与
【数３５】
2019219400.tif 000037
を含み得る。戻り光からの寄与は、画素の視野内の物体から戻る光が画素に当り始める前にセンサ信号が遮断される場合、ゼロ又は小さい場合がある。破損光からのみの測定への寄与は、
【数３６】
2019219400.tif 000038
に等しい。視野内の物体からの寄与が無視され得る場合、測定は、形式F=C+BGになる。ここで、
【数３７】
2019219400.tif 000039
は、背景光からの寄与である。ＢＧ光についての測定が、個々に行われる場合、ＢＧ光からの寄与を測定Fから減算又は除去（例えば、F-BG=C）して、破損光Cを取得することが可能である。
【００４４】
所与の測定Mは、そのパラメータに依存して、破損光に起因するある寄与αFC（寄与は、利得係数αFにより乗算されたCである）を有し得る。幸いにも、破損光からの影響／寄与αFCは、測定MをαFCで減算することによって除去され得る。Cは、例えば、測定Ｆを行うこと、及びＢＧ光からの寄与をFから除去することを通して、図８に示される技術によって導出され得る。破損光についての利得係数αFは、光パルス及びセンサ信号の形状を知ることによって先験的に判断され、距離に弱く依存し得る。又は破損させる物体までの距離が、センサからの固定距離における画面上の汚れの場合のように、先験的に既知であり得る。結果として、数量M-αFCは、破損光から実質的に独立している。
【００４５】
破損光Cに対応する利得係数αFを判断することは、自明ではない。例えば、光源パルス及びセンサ信号パルスが、完全に矩形である場合、所与の測定Mにおける破損光の量は、Mが破損光を収集している時間量に比例する。例えば、M(TL,0,TS)かつTL<TSの場合、M(TL,0,TS)は、時間
【数３８】
2019219400.tif 000040
からTLまで破損光を収集し得る。ここで、DCは、破損させる物体とセンサとの間の距離である。
【数３９】
2019219400.tif 000041
が、TLと比較して微小である場合、所与の測定Mにおける破損光の量が、TLにほぼ比例する。
【００４６】
図８に戻って参照すると、破損された光がCによって捕捉されている時間量は、TCである（それは、図８に示される測定、M(TC,-tC,TS)に用いられる放射光の持続期間でもある）。したがって、利得係数αFが、所与の測定M(TL,0,TS)に用いられる放射光の持続期間と、図８によって示される測定M(TC,-tC,TS)において用いられる放射光の持続期間との比率、
【数４０】
2019219400.tif 000042
に設定される場合、数量M-αFCは、パルスが完全に矩形であった場合に、破損光の影響を受ける数量である。比率は、Cにおいて捕捉される破損光の量に対して、所与の測定Mにおいて捕捉される破損光からの寄与を説明する利得係数αFを効果的に発見する。利得係数αFは、したがって、Cにおいて捕捉される破損光の量を乗算する乗数である。乗算の結果は、所与の測定M(TL,0,TS)において捕捉される破損光の量の近似値をもたらす。パルスが完全な矩形でない場合、数量M-αFCは、いくらか満足のいくレベルの精度で、適切に選択される利得係数αFについて依然として破損光にほぼ反応しなくともよい。fC,Mが、所与の測定Mによって収集される破損光の量であり、fCが、Fによって収集される破損光の量である（図８において見られるスキームによって示されるように）場合に、比率
【数４１】
2019219400.tif 000043
に等しいαFを選択することが、M-αFCが破損光に反応しないことにつながる。
【００４７】
図８に示される測定、及びCが破損光の影響を図４によって示される測定から除去する（例えば、M-αFC）ための導出を使用することが可能である。図４によって示される例に戻って参照すると、S0は、M(TL,t0,TS)であり、S1は、M(TL,t1,TS)であり、S2は、M(TL,-t2,TS)である。S0は、破損光によって最も影響を受ける測定である可能性が高い。利得係数αFが、判断され得、Cが、図８に示される例を使用して導出され得る。S0は、S0を破損光に反応させないように、αFCによって減算され得る。
【００４８】
ＢＧ光がない（BG=0）場合、測定Fは、内面反射のみに起因する破損光を含む（例えば、F=C+BG=C+0=C）。S0は、
【数４２】
2019219400.tif 000044
を算出することによって調整され得る。S0による測定は、破損光についての利得係数αFによって乗算されたF=Cにより減算される。結果として得られる数量
【数４３】
2019219400.tif 000045
は、破損光に反応しない場合がある。S1による測定は、破損光によってあまり影響を受けない場合があり、破損光についての調整が、満足な度合いの精度に達する必要がない場合がある。測定が、式（２）又は式（３）に適用されるとき、
【数４４】
2019219400.tif 000046
は、S0を置換する。ＢＧ光がない場合、式は、さらなる調整を行うことなく同じ様態で適用され得る。
【００４９】
ＢＧ光がある（BG≠0）場合、深度推定計算は、異なり得る。ＢＧ光があるとき、測定Fは、破損光C及びＢＧ光BGの組み合わせ、例えば、F=C+BGである。破損光C及びＢＧ光に反応しない測定Siを取得するために、測定Siは、減算Si-αF,iC-S2を通して破損光αFC及びＢＧ光S2からの寄与を除去し得る。この設定は、内面反射に起因する破損光が（-αF,iCを通して）一度除去され、ＢＧ光が（-S2を通して）一度除去されることを保証する。式C=F-BGに当てはめて、BG=S2と仮定すると、Si-αF,iC-S2は、Si-αF,iC-S2=Si-αF,i(F-BG)-S2=Si-αF,i(F-S2)-S2=Si-αF,iF+αF,iS2-S2=Si-αF,iF+(αF,i-1)S2と書き換えられ得る。破損光及びＢＧ光に対して調整されたS0を用いた式（３）は、以下のようになり得る。ここで、S0-αF,0F+(αF,0-1)S2はS0-S2を置換する。
【数４５】
2019219400.tif 000047
【００５０】
深度計算のためのこの調整された比率
【数４６】
2019219400.tif 000048
は、深度とともに大きくなり、実際の深度Ｄを取得するためにＨ（ｘ）を実施するルックアップテーブルへの入力として提供され得る。
【００５１】
より概略的には、異なる深度推定式、及び光を測定するための技術について、破損光測定αF,iFによる何らかの寄与は、Si-αF,iF+(αF,i-1)S2に見られるように、所与の電荷蓄積ユニットSiによって行われた測定から減算され得る。調整された測定
【数４７】
2019219400.tif 000049
は、したがってSi-αF,iF+(αF,i-1)S2に等しい。ここで、利得係数αF,iにより乗算される破損光測定Fは、元の測定Siから減算され、利得係数(αF,i-1)により乗算される背景測定S2は、元の測定Siに加算される。測定に対応する破損光のための特定の利得係数αF,iが、判断され、使用され得る。例えば、Siにおける破損光の量が、fc,iに等しく、Fにおける破損光の量が、fcに等しく、その場合に、
【数４８】
2019219400.tif 000050
であると判断され得る。測定S0について、利得係数αF,0は、したがって、S0において捕捉される破損光の量と、測定Fにおいて捕捉される破損光の量との間の比率であり得る。測定S1,について、利得係数αF,1は、したがって、S1において捕捉される破損光の量と、測定Fにおいて捕捉される破損光の量との間の比率であり得る。測定が、式（２）又は式（３）に適用されるとき、
【数４９】
2019219400.tif 000051
は、破損光の成分によって影響を受け得る測定について、Si-S2を置換する。測定
【数５０】
2019219400.tif 000052
は、破損光及びＢＧ光によって破損されず、式（３）などの深度推定式において直接使用され得る。
【００５２】
式４に見られる深度の式を算出するために、S0に１つの電荷蓄積ユニットを、S1に１つの電荷蓄積ユニットを、S2に１つの電荷蓄積ユニットを、Fに１つの電荷蓄積ユニットを利用することが可能である。言い換えると、図８によって示される技術が、図４に見られる測定と組み合わせて、１つの追加の電荷蓄積ユニットを利用して破損光測定Fを行ってもよい。
【００５３】
いくつかの実施形態では、測定S0及び測定S1の両方が、いくらかの量の破損光によって影響を受ける。したがって、測定S0及び測定S1の両方が、破損光及び背景光の両方について調整される。言い換えると、式（３）において、
【数５１】
2019219400.tif 000053
がS0-S2を置換し、
【数５２】
2019219400.tif 000054
がS1-S2を置換する。
【００５４】
いくつかの実施形態では、測定S1の開始時間、即ち、t1は、破損光がもはや画素に当たっていない（又は画素に当たると予期される）ときに、電荷を収集し始めるように設定される。したがって、測定S0は、破損光及び背景光により影響を受け、測定S1は、破損光によってではなく背景光によって影響を受ける。したがって、測定S0は、破損光及び背景光の両方について調整され、測定S1は、背景光のみについて調整される。言い換えると、式（３）において、
【数５３】
2019219400.tif 000055
がS0-S2を置換し、S1-S2はS1-S2のままである。
【数５４】
2019219400.tif 000056
における利得係数αF,1は、S1において捕捉される破損光の量と測定Fにおいて捕捉される破損光の量との間の比率であり、S1において破損光の量が全く捕捉されない場合ゼロであり、それは、実際上
【数５５】
2019219400.tif 000057
を行うことに留意されたい。
【００５５】
破損光を測定するために追加の電荷蓄積ユニットをハードウェアに追加しなければならないことを回避するため
【００５６】
いくつかの場合において、追加の電荷蓄積ユニットを有する必要性を回避することが可能である。[Si-αF,iF+(αF,i-1)S2]（式（４）において見られる数量）が、(Si+(αF,i-1)S2)-αF,iFと書き換えられ得ることに留意されたい。αF,i-1>0と仮定すると、ハードウェアにおいて測定Si+(αF,i-1)S2を実行することが可能である。前述の通り、画素における電荷蓄積ユニットは、経時的に実行される複数の測定を行い、累積するように制御され得る。いくつかの場合において、測定は、光源１０２の異なる光パルス幅、及び／又は異なるセンサ信号パルス幅／持続期間に基づき、同一の電荷蓄積ユニットを用いて反復され得る。具体的には、同一の電荷蓄積ユニットは、同一の電荷蓄積ユニットに、全ての測定について電子（例えば、電荷の量）を収集及び累積し続けさせ、各測定後に電荷蓄積ユニットをリセットさせないことによって、測定の加算を実行し得る。
【００５７】
同一の電荷蓄積ユニットが、Siに対応する測定を行うために使用されてもよく、測定は、電荷蓄積ユニットに記憶される。同一の電荷蓄積ユニットは、αF,i-1回、ＢＧ測定S2を行い、同一の電荷蓄積ユニットにおいてαF,i-1回のＢＧ測定を加算／累積し得る。αF,i-1は、所与の測定Si-1に対応する破損光測定についての利得係数αF,iに等しい。測定は、任意の好適な順序で行われ得る。実際上、単一の電荷蓄積ユニットは、(Si+(αF,i-1)S2)に対応する電荷を累積し得る。αF,i-1が整数でない場合、ＢＧ測定S2のパルス幅（又は持続期間）を変更して、単一のＢＧ測定S2のαF,i-1倍数を生成することが可能である。パルス幅は、利得係数αF,iに基づいて予め定められ、プログラムされ得る。１回行われる測定Si、及びαF,i-1回行われるＢＧ測定S2を、同一の電荷蓄積ユニットが実行及び累積するためにセンサ信号を操作することによって、同一の電荷蓄積ユニットが、(Si+(αF,i-1)S2)に相当する測定を行い得る。個々の電荷蓄積ユニットは、ＢＧ測定S2を別個に行うためにもはや必要とされない。これは、図８によって示される破損光Fを隔離及び測定するために使用され得る「空いている」電荷蓄積ユニットを解放する（又は追加の電荷蓄積ユニットに対する必要性を取り除く）。
【００５８】
本明細書で説明される様々な技術を用いると、測定S0は、破損光及びＢＧ光に対して調整され得る。さらに、画素は、S0及びS2のために１つの電荷蓄積ユニットを、Fのために１つの電荷蓄積ユニットを利用することによって、測定S0（又は、破損光により影響を受ける任意の測定Si）、ＢＧ測定S2、及び破損光測定Fを行い得る。
【００５９】
同じ技術を適用すると、測定S1もまた、破損光及びＢＧ光に対して調整され得る。具体的には、数量S1-αF,1F+(αF,1-1)S2は、破損光及びＢＧ光を含まなくてもよい。この場合における利得係数αF,1は、S1において捕捉される破損光の量と、測定Fにおいて捕捉される破損光の量との間の比率であり得ることに留意されたい。S1+(αF,1-1)S2は、ハードウェアにおいて（即ち、同一の電荷蓄積ユニットを用いて）実行され得るため、S1、S2、及びFのために３つの別個の電荷蓄積ユニットを有する必要がなくなる。したがって、画素は、S1及びS2のために１つの電荷蓄積ユニットを、Fのために１つの電荷蓄積ユニットを利用することによって、測定S1（これもまた、破損光により影響を受け得る）、ＢＧ測定S2、及び破損光測定Fを行い得る。
【００６０】
式（４）は、測定S0及び測定S1の両方が破損光及びＢＧ光に反応し得ないことを保証するために、以下のように修正され得る。
【数５６】
2019219400.tif 000058
【００６１】
深度計算のためのこの調整された比率
【数５７】
2019219400.tif 000059
は、深度とともに大きくなり、実際の深度Ｄを取得するために、Ｈ（ｘ）を実施するルックアップテーブルへの入力として提供され得る。
【００６２】
その結果は、３つの電荷蓄積ユニット、[S0+(αF,0-1)S2]のための１つの電荷蓄積ユニット、[S1+(αF,1-1)S2]のための１つの電荷蓄積ユニット、及びFのための１つの電荷蓄積ユニットを用いて、破損光及びＢＧ光を考慮し得る画素である。３つの電荷蓄積ユニットは、式５に基づいて深度を算出するための数量を測定するのに十分である。その結果は、破損光及びＢＧ光からの寄与を有利に除去し、より正確な深度推定が算出されることを可能にし得る画素である。
【００６３】
ナノセカンドパルスを必要とすることなく、破損光を隔離及び測定するための技術
【００６４】
図８によって示される技術では、内面反射に起因する破損光及び視野内の物体からの戻り光の時間的分離が、持続期間TCの短パルスを使用する。破損させる物体が、深度撮像装置の５ｃｍ以内にあり、目的が、２０ｃｍ以上離れた物体の深度を測定することであるとする。５ｃｍ未満の離れた物体に起因する破損光及び２０ｃｍ以上離れた物体から反射する戻り光の時間的分離を実現するためには、TCは、任意の光が２０ｃｍ離れた物体から戻ってくる前に破損光が必ず画素に戻ってくるのに十分な短さでなければならない。これは、光パルスの幅TCが、
【数５８】
2019219400.tif 000060
を満たさなければならず、それはTC〜1nsを与えることを意味する。光源１０２を駆動するいくつかのドライバ、又は光源１０２自体が、放射光のナノセカンド幅のパルスを実現することができない。ドライバが、短いナノセカンドパルスを生成し得る場合であっても、放射光の出力電力が、多量の信号を得るにはその短い光パルス幅においては低すぎる。
【００６５】
この問題に対処するために、電荷蓄積ユニットは、依然として破損光を隔離及び測定する方法で制御され得る。図９は、本開示のいくつかの実施形態による、破損光を隔離し、測定する別の技術を示す。
【００６６】
光源１０２による放射光（例えば、プロット９０２）は、
【数５９】
2019219400.tif 000061
によって表される。TLは、光源１０２がオンである時間量であり、TLは、画素の視野内の物体に反射する戻り光及び破損光を時間的に分離するのに十分短くなくてもよい。画素の視野内の物体に反射する戻り光（例えば、プロット９０４）は、
【数６０】
2019219400.tif 000062
によって表される。ここで、aRは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、tRは、光が視野内の物体まで進み、物体から戻るための時間量である。内面反射に起因する破損光（例えば、プロット９０６）は、
【数６１】
2019219400.tif 000063
によって表される。ここで、aBは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、tBは、光が１つ以上の内面反射後に画素に戻るための時間量である。物体からの戻り光及び破損光は、時間的に重複する（両方が期間内に画素に当たり得る）ことが分かる。画素に到達する光（例えば、プロット９０８）は、
【数６２】
2019219400.tif 000064
と表され、それは、物体に反射する戻り光、破損光、及びＢＧ光（bによって表される）の組み合わせである。電荷蓄積ユニットは、-t1において光を感知し始め、遅延時間tdにおいて光を感知するのを停止するように、センサ信号（例えば、プロット９１０）によって制御され得る。電荷蓄積ユニットは、したがって、TS=t1+tdの持続期間の間、感知する。センサ信号は、
【数６３】
2019219400.tif 000065
によって表される。電荷蓄積ユニットによる測定は、F=M(TL,-t1,TS)である。収集された信号（例えば、プロット９１２）は、破損光及びＢＧ光の結果であり、
【数６４】
2019219400.tif 000066
によって表される。関数
【数６５】
2019219400.tif 000067
は、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定が、収集された信号の積分
【数６６】
2019219400.tif 000068
である。この測定は、ＢＧ光からの寄与、及び内面反射に起因する破損光の一部分を含む。画素が、付近の（破損させる）物体に反射する光及びＢＧ光だけを収集しているように、センサをオフにするための遅延時間tdが選択され得る。
【００６７】
図９において、収集された信号によって示されるように、電荷蓄積ユニットは、tdにおいて感知することを停止する。ここで、tdは、破損光が画素に当り始める時間tBの後で、かつ物体に反射する戻り光が画素に当たる時間tRの前である。結果は、幅td（有効パルス幅と称される）又はそれより短い光パルスを送出したことに相当する。なぜなら、画素の視野内の物体に反射する戻り光が捕捉されず、破損光は、tdにおいてセンサをオフにすることによって実際上隔離及び測定されるからである。適切な利得係数を使用することによって、図９において見られる測定は、破損光により影響を受ける測定から破損光を除去するために使用され得る。
【００６８】
本技術は、破損させる物体が、例えば、ある固定距離において既知である場合に有効である。例えば、破損させる物体は、画素からある固定距離にある画面７０４であってもよい。別の例では、破損させる物体は、それがゼロ距離であるように近似され得るくらい短い距離にあってもよい。そうでなければ、破損させる物体から捕捉される有効パルス幅は、破損させる物体までの距離に依存する。
【００６９】
例えば、破損させる物体が距離DCにあり、放射光パルスが時間間隔TLの間アクティブである場合、破損させる物体からの戻り光は、時間2DC/cからTL+2DC/cまでアクティブである。センサが、
【数６７】
2019219400.tif 000069
で時間-t1からtdまでアクティブである場合、センサは、時間
【数６８】
2019219400.tif 000070
とtdとの間、光を収集している。したがって、センサが光を収集する時間間隔は、td-2DC/cの幅を有する。この数量は、センサと破損させる物体との間の距離DCに依存する。ctd/2と比較してカメラの非常に近くの破損させる物体についての場合であり得るように、DCがtdと比較してわずかである場合、この数量は、2DCに弱く依存するだけである。別の場合は、DCが一定である画面などの破損させる物体であり、したがって、DCが一定であるために、DCとともにtd-2DC/cの変動はない。これら両方の場合において、有効パルス幅は、先験的に判断され得る。破損光の量がDCに強く依存する点に対して、数量DCが変動する場合、それは、破損光を除去するための利得係数が先験的に判断され得ない場合であり得る。
【００７０】
シミュレートされた短い光パルス幅で測定を取得すること
【００７１】
破損させる物体までの距離が変動し得るとき、短い光パルスを生成しなくても実際上短い光パルスを実現するために、異なる技術が使用され得る。図１０は、本開示のいくつかの実施形態による、任意に短いパルスを実際上得る技術を示す。その技術は、同一形状であるが、ある遅延時間tdだけ時間的にシフトされた幅TLの２つの光パルスを伴う。光源１０２による第１の放射光（例えば、プロット１００２）は、
【数６９】
2019219400.tif 000071
によって表される。第１の放射光が、t=0において開始し／始まり、TLの持続期間を有する。この例では、第１の放射光が、t=0において第１の開始時間（又は、基準フレーム内のある好適な時間Tstart）を有する。光源１０２による第２の放射光（例えば、プロット１００４）は、
【数７０】
2019219400.tif 000072
によって表される。第２の放射光が、t=tdにおいて開始し／始まり、TLの持続期間を有する。td<<TLであり、又は言い換えると、持続期間TLは、tdよりも著しく大きいことに留意されたい。第２の放射光パルスは、第１の放射光パルスと同一のパルス形状を有し、第１の放射光パルスと同一の持続期間を有する。第２の放射光パルスは、第１の開始時間に対して所定の時間量tdだけオフセット又は遅延された第２の開始時間を有する。第１の開始時間がt=Tstartにある場合、第２の開始時間は、t=Tstart+tdにある。第２の放射光が、第１の放射光から減算されるとき、差（例えば、プロット１００６）は、幅tdの短い正パルス１０１０として現れ、最小信号を有する時間TL-tdの後に、幅tdの短い負パルス１０２０が続く。光出力電力は、正パルス１０１０と負パルス１０２０との間において最小である。電荷蓄積ユニットは、-t1において、及びTSの持続期間の間に、光を感知し始めるように、センサ信号（例えば、プロット１００８）によって制御され得る。センサ信号は、
【数７１】
2019219400.tif 000073
によって表される。２つの測定、（１）第１の放射光及びセンサ信号が、-t1において感知を開始し、負パルス１０２０の前のある時間にオフになる、第１の測定、並びに（２）第２の放射光及びセンサ信号が、-t1において感知を開始し、負パルス１０２０の前のある時間にオフになる、第２の測定を行うことが可能である。第１の測定に使用されるセンサ信号は、第２の測定に使用されるセンサ信号と同一の開始時間、持続期間、及び形状を有する。センサ信号は、第１の放射光パルス（例えば、t=0）の開始時間前に、又は開始時間前のあるときに、オンにされてもよく、TL又はTL-tdの前のあるとき、及びtdの後（又は、第２の放射光パルスの開始時間後）に、オフにされてもよい。センサ信号の-t1及びTSによって定義される第１の及び第２の測定は、TL及びtdに基づいて判断され得る。第１の測定を第２の測定で減算することは、短い光パルス幅tdで場面を露出することによって取得されるものと等価な結果をもたらす。異なる言い方をすると、（１）互いに対してわずかに遅延された光パルスを有する同一のセンサ信号（例えば、プロット１００８）を用いて２つの測定を実行すること、及び（２）２つの測定の差を取得することによって、幅tdの短い光パルスが使用されたかのように、測定を取得することが可能である。この技術を用いると、ドライバ又は光源が、短い光パルスを直接出力できなくても、任意に小さな光パルスがシミュレートされ得る。この結果得られる測定は、したがって、破損光及びＢＧ光を捕捉することができ、以下で、得られる破損光測定と称される。
【００７２】
このシミュレーション技術は、２つの電荷蓄積ユニットを使用して、第１の測定及び第２の測定を取得し得、それらは、画素についての追加の電荷蓄積ユニットを必要とし得る。しかしながら、減算のその部分が加算として再公式化され得ると認識することによって、追加の電荷蓄積ユニットを含む必要性を除去し得る。電荷蓄積ユニットが、複数の測定を行い、測定の加算／累積を実施するために再使用され得るように、所与の電荷蓄積ユニットは、適切なセンサ信号で動作され得る。第１の測定が、F1と示され、第２の測定が、F2と示されるとする。減算後、それぞれが破損光及びＢＧ号光を捕捉する、結果として得られる破損光測定は、F1-F2と示される。第１の測定F1及び第２の測定F2の両方が、ＢＧ光の成分を含むため、F2によるF1の減算は、ＢＧ光の共通成分を除去／キャンセルし、破損光の成分だけを残す。深度推定が、破損光（即ち、F1-F2）及びＢＧ光（即ち、S2）に耐性があり得ることを保証するために、利得係数αF,iにより乗算される結果得られる破損光測定F1-F2によって、及びＢＧ光測定S2によって測定Siを減算すること、即ち、
【数７２】
2019219400.tif 000074
により、破損光及びＢＧ光に対して除去又は調整することが可能である。画素についての深度Ｄは、以下の例示的な式を算出することによって取得され得る。
【数７３】
2019219400.tif 000075
【００７３】
深度計算のためのこの比率
【数７４】
2019219400.tif 000076
は、深度とともに大きくなり、実際の深度Ｄを取得するためにＨ（ｘ）を実施するルックアップテーブルへの入力として提供され得る。
【００７４】
【数７５】
2019219400.tif 000077
は、
【数７６】
2019219400.tif 000078
と書き換えられ得ることに留意されたい。式６は、以下のように書き換えられ得る。
【数７７】
2019219400.tif 000079
【００７５】
この書き換えられた数量
【数７８】
2019219400.tif 000080
を用いて、第１の電荷蓄積ユニットを使用して(Si+αF,iF2)を取得し、第２の電荷蓄積ユニットを使用して(αF,iF1+S2)を取得することが可能である。具体的には、破損光（即ち、F1-F2）及びＢＧ光（即ち、S2）に耐性のある深度推定を形成するために、深度撮像装置は、全部で４つの電荷蓄積ユニットを使用して、式（７）において使用される数量を取得し得る。第１の電荷蓄積ユニットは、(S1+αF,1F2)を取得し得る。第２の電荷蓄積ユニットは、(αF,1F1+S2)を取得し得る。第３の電荷蓄積ユニットは、(S0+αF,0F2)を取得し得る。第４の電荷蓄積ユニットは、(αF,0F1+S2)を取得し得る。
【００７６】
数量Si+αF,iF2は、元々Siに使用された電荷蓄積ユニットに記憶され得る。したがって、Si+αF,iF2は、好適な様態でSiを測定するために第１の電荷蓄積ユニットを制御して、同一の電荷蓄積ユニットにおいてαF,iF2測定を直接行い、加算することによって実施され得る。αF,iF2は、ハードウェアにおいて同一の電荷蓄積ユニットに直接加算され得る。同一の電荷蓄積ユニットが、Siに対応する測定を行うために使用されてもよく、測定は、電荷蓄積ユニットに記憶される。同一の電荷蓄積ユニットは、αF,i回、第２の測定F2を行い、同一の電荷蓄積ユニットにおいてαF,i回の測定F2を加算／累積し得る。この場合、利得係数αF,iは、Siにおいて捕捉される破損光の量と、測定F1-F2において捕捉される破損光の量との間の比率であり得る。実際上、単一の電荷蓄積ユニットは、測定Si+αF,iF2を行い得る。αF,iが整数でない場合、第２の測定F2のパルス幅（又は持続期間）を変更して、単一の第２の測定F2の整数倍数を生成することが可能である。例示的な手法は、αF,iを最も近い整数に単に近似することである。利得係数αF,iに関連するパルス幅は、Siにおいて捕捉される破損光の量、F1-F2において捕捉される破損光の量を判断すること、及び２つの量の比率をとることによって、予め定められ、プログラムされ得る。１回行われる測定Si、及びαF,i回行われる第２の測定F2を、同一の電荷蓄積ユニットが実行及び累積するためにセンサ信号を操作して、同一の電荷蓄積ユニットが、Si+αF,iF2に相当する測定を行い得る。個々の電荷蓄積ユニットは、破損光測定F2を別個に行うためにもはや必要とされない。
【００７７】
電荷蓄積ユニットにおいて累積されているその寄与が、ほぼαF,iF1であるように、もう一度、F1測定のパルス幅を変更すること、及びその測定を整数回反復することによって、数量αF,iF1+S2は、元々S2に使用された電荷蓄積ユニットに記憶され得る。したがって、αF,iF1+S2は、好適な様態でS2を測定するために第２の電荷蓄積ユニットを制御して、同一の電荷蓄積ユニットにおいてαF,iF1測定を直接行い、加算することによって実施され得る。αF,iF1は、ハードウェアにおいて同一の電荷蓄積ユニットに直接加算され得る。同一の電荷蓄積ユニットが、S2に対応する測定を行うために使用されてもよく、測定は、電荷蓄積ユニットに記憶される。同一の電荷蓄積ユニットは、αF,i回、第２の測定F1を行い、同一の電荷蓄積ユニットにおいてαF,i回の測定F1を加算／累積し得る。この場合、利得係数αF,iは、Siにおいて捕捉される破損光の量と、測定F1-F2において捕捉される破損光の量との間の比率であり得る。実際上、単一の電荷蓄積ユニットは、測定αF,iF1+S2を行い得る。αF,iが整数でない場合、第１の測定F1のパルス幅（又は持続期間）を変更して、単一の第１の測定F1の整数倍数を生成することが可能である。例示的な手法は、αF,iを最も近い整数に単に近似することである。利得係数αF,iに関連するパルス幅は、Siにおいて捕捉される破損光の量、F1-F2において捕捉される破損光の量を判断すること、及び２つの量の比率をとることによって、予め定められ、プログラムされ得る。１回行われる測定S2、及びαF,i回行われる第１の測定F1を、同一の電荷蓄積ユニットが実行及び累積するためにセンサ信号を操作して、同一の電荷蓄積ユニットが、αF,iF1+S2に相当する測定を行い得る。個々の電荷蓄積ユニットは、破損光測定F1を別個に行うためにもはや必要とされない。
【００７８】
いくつかの実施形態では、測定S0は、ある量の破損光を有するか、又は破損光によって著しく影響を受ける。測定S1は、いかなる破損光も有さないか、又は破損光によって受ける影響は最小限である。例えば、測定S0は、t=t0において電荷の収集を開始し得、測定S1は、t=t1において、かなり後で電荷の収集を開始し得る。測定S1の開始時間は、測定S1が、いかなる破損光も収集しないことを保証するように設定され得る。式（６）及び（７）において見られる利得係数αF,iは、したがって、ゼロである。測定S1が、破損光からの寄与を有しない場合、式（６）及び（７）は、以下のように公式化され得る。
【数７９】
2019219400.tif 000081
【００７９】
式（８）は、以下のように書き換えられ得る。
【数８０】
2019219400.tif 000082
【００８０】
この書き換えられた式を用いて、測定S0が破損光（即ち、F1-F2）及びＢＧ光（即ち、S2）に耐性があり、測定S1がＢＧ光に耐性がある、深度推定を形成するために、深度撮像装置は、全部で３つの電荷蓄積ユニットを使用して、式（9）において使用される数量を取得し得る。第１の電荷蓄積ユニットは、(S0+αF,0F2)を取得し得る。第２の電荷蓄積ユニットは、(S1+αF,0F1)を取得し得る。第３の電荷蓄積ユニットは、(S2+αF,0F1)を取得し得る。
【００８１】
破損光からの寄与を除去する手法
【００８２】
本明細書で説明されるように、図８に見られるような短い光パルスの使用を通して、又は図９及び１０によって示される技術を通して、破損光を測定することにより測定を調整することが可能である。所与の２つの測定S0及びS1があるとすれば、その場合に各測定がある量の破損光C0及びC1をそれぞれ収集しており、第１の期間における破損光の量がC0であり、第２の期間における破損光の量が
【数８１】
2019219400.tif 000083
であり、したがってそれらが相殺するため、数量
【数８２】
2019219400.tif 000084
は、破損光を含まなくてもよい。数量は、破損光C0と破損光C1との比率によって乗算された測定S1によって減算される測定S0に等しい。比率は、S0において収集される破損光の量と、S1において収集される破損光の量との間である。適切な比率で、破損光からの寄与は、
【数８３】
2019219400.tif 000085
をS0から減算することによって、測定S0から除去され得る。形状パルスに基づいて、破損光C0及びC1を先験的に知ること又は推定することが可能であり、したがって、比率が、先験的に判断され得る。捕捉される破損光の量は、いくつかの場合において、センサ信号及び戻り破損光の両方が同時にオンである時間量に依存し得る。２つの測定S0及びS1において捕捉される破損光の比率は、したがって、本明細書で説明される動作の多くにおいて、利得係数として使用され得る。
【００８３】
例えば、S0が測定
【数８４】
2019219400.tif 000086
に対応する場合、センサは、時間t0から
【数８５】
2019219400.tif 000087
までオンである。破損させる物体が、距離DCにある場合、戻り破損光は、時間
【数８６】
2019219400.tif 000088
から
【数８７】
2019219400.tif 000089
までオンである。例えば、
【数８８】
2019219400.tif 000090
の場合、センサ及び戻り破損光は、両方とも時間
【数８９】
2019219400.tif 000091
から
【数９０】
2019219400.tif 000092
までオンである。さらに、S1が測定
【数９１】
2019219400.tif 000093
に対応し、破損させる物体が、前のように距離DCにある場合、戻り破損光は、時間
【数９２】
2019219400.tif 000094
から
【数９３】
2019219400.tif 000095
までオンである。例えば、
【数９４】
2019219400.tif 000096
の場合、センサ及び破損光は、両方とも時間t1から
【数９５】
2019219400.tif 000097
までオンである。
【００８４】
全てのパルスが矩形である場合、S0において捕捉される破損光の量は、センサ及び戻り破損光の両方がS0測定の間アクティブである時間
【数９６】
2019219400.tif 000098
の時間量に比例する。一方、S1における破損光の量は、破損光及びセンサの両方がS1測定の間アクティブである時間量
【数９７】
2019219400.tif 000099
に比例する。その場合、
【数９８】
2019219400.tif 000100
は、破損光が除去された場合の数量である。
【００８５】
パルスが、厳密な矩形ではないが、ほぼ矩形である場合、この式は、やはり破損光にほぼ反応しない場合がある。パルスが矩形から著しく逸脱する場合、破損光の量は、パルスの形状の関数である。パルスの形状を判断することによって、又は場面内の破損させる物体を経験的に追加すること、測定を実行すること、次いで場面内の破損させる物体を除去すること及び同一の測定を実行すること、並びに、第２の測定から第１の測定を減算することによって、純粋に破損光を取得する。S0測定のためにこのスキームを実行することによって、C0が得られ、S1のためにこのスキームを実行することによって、C1が得られる。次いで、利得係数又は比率
【数９９】
2019219400.tif 000101
が、記憶され得る。例えば、破損させる物体までの距離が先験的に知られている場合、利得係数αを取得するためのこのスキームは、破損させる物体までの既知の距離において破損させる物体で実行される。
【００８６】
破損光の影響が、距離の所定の間隔における破損させる物体について除去されることとなる場合、距離の所定の間隔内の破損させる物体への異なる距離について、αが取得され得、αが間隔内で十分小さな量で変動するかどうかが検証され得る。その場合に、間隔内で取得される値に近い値が、αについて選択される。一度利得係数αが予め決定され、新たなS0及びS1測定が実行されると、数量S0-αS1が取得され得、それは、破損光を完全に含まないか、又はほぼ含まないかのいずれかとなる。
【００８７】
したがって、破損されていない数量を形成し、破損されていない数量を破損されていない深度推定に使用することが可能である。それが可能である場合、追加の電荷蓄積ユニットは、破損された光を記憶するために使用され得る。代替的には、形式A-B+C-D+...の深度推定式において数量が存在するか否かにかかわらず、深度推定式は、(A+C+...)-(B+D+...)と書き換えられてもよく、合計は、（即ち、同一の電荷蓄積ユニットを再使用して複数の測定を行うことによって、）直接ハードウェアにおいて実行され得る。結果として、破損光測定を行い、記憶するための追加の電荷蓄積ユニットは、もはや必要ない。
【００８８】
内部散乱に起因する飛行時間型深度画像の破損を回避すること
【００８９】
深度画像が内部散乱又は回折によって破損されないことを確認する１つの他の可能な方法は、最後の破損光（内部散乱に起因する）がセンサに当たっているポイントを過ぎて、又はセンサに当たっている最後の破損光がわずかであるポイントにおいて、センサをオンにすることである。この方法論は、破損光を設計によって完全に回避し、センサ測定から算出される結果得られる深度推定は、破損されないこととなる。
【００９０】
図１１は、本開示のいくつかの実施形態による、パルスがオフになった後でセンサをオンにすること（又は光の収集を開始すること）を示す。光源１０２による放射光（例えば、プロット１１０２）は、
【数１００】
2019219400.tif 000102
によって表される。TLは、光源１０２がオンである時間量である。画素の視野内の物体に反射する戻り光（例えば、プロット１１０４）は、
【数１０１】
2019219400.tif 000103
によって表される。ここで、aRは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、tRは、光が視野内の物体まで進み、物体から戻るための時間量である。内面反射に起因する破損光（例えば、プロット１１０６）は、
【数１０２】
2019219400.tif 000104
によって表される。ここで、aBは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、tBは、光が１つ以上の内面反射後に画素に戻るための時間量である。画素に到達する光（例えば、プロット１１０８）は、
【数１０３】
2019219400.tif 000105
と表され、それは、物体に反射する戻り光、破損光、及びＢＧ光（bによって表される）の組み合わせである。電荷蓄積ユニットは、t1において、TSの持続期間の間に光を感知し始めるように、センサ信号（例えば、プロット１１１０）によって制御され得る。センサ信号は、
【数１０４】
2019219400.tif 000106
によって表される。電荷蓄積ユニットによる測定は、M(TL,t1,TS)である。t1は、好ましくは、TLより大きく、それは、光パルスがオフになった後でセンサが光の収集を開始することを意味し、又はTLより小さいが、受信される破損光の量がある許容誤差範囲内で微小であるように十分大きい。収集される信号（例えば、プロット１１１２）は、
【数１０５】
2019219400.tif 000107
によって表される。関数
【数１０６】
2019219400.tif 000108
は、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定が、収集された信号の積分
【数１０７】
2019219400.tif 000109
である。設計（即ち、適切なt1を選択すること）によって、
【数１０８】
2019219400.tif 000110
、即ち、内面反射に起因する破損光からの寄与は、センサがオンである期間の間、ゼロ又は最小である。その結果、測定は、破損光を回避する（が、ＢＧ光からのいくらかの寄与を有することとなる）。
【００９１】
tB,maxが、付近の破損させる物体まで進み、センサから戻ってくるパルスの最大進行時間である場合、測定S0=M(TL,t1,TS)=M(TL,tB,max,TS)は、t1≧TL+tB,maxである限り、付近の破損させる物体からいかなる光も収集しない。数量tB,maxは、ガラスカバーなどのセンサまで既知の距離を有する物体に反射する光がセンサまで戻った後の時間、又は破損に寄与する物体が深度推定に著しく影響を及ぼさないように十分小さな量で破損に寄与する時間のいずれかであるように、判断され得る。距離dB,maxは、物体がやはり著しい破損につながり得る、物体とセンサとの間の最大距離である場合、tB,maxを2dB,max/c又はそれ以上に設定し、ｃが光の速度であることは、S0が破損光から著しい寄与を有しないことにつながる。例えば、センサから１０センチメートル以上離れている物体が、内面反射に起因する著しい破損に繋がらない場合、tB,max≧2*10cm/cを設定することが、S0にはほぼ破損がないことにつながる。測定S0を行うために、電荷蓄積ユニットは、光源１０２がオンである時間量TL+最大進行時間tB,maxの後、光の収集を開始し得、TSの持続期間の間、光を捕捉し得る。
【００９２】
tminが、深度カメラが深度の報告を開始する最小距離Dmin（例えば、Dmin=２０ｃｍ）にある物体へとパルスが進行する進行時間である場合、別の測定S1が行われてもよく、ここで、t1=TL+tminである。即ち、S1=M(TL,TL+tmin,TS)である。測定S1を行うために、電荷蓄積ユニットは、光源１０２がオンである時間量TL+進行時間tminの後、光の捕捉を開始し得、TSの持続期間の間、光を捕捉し得る。tB,maxは、tminより短く、それは、測定S1を行う電荷蓄積ユニットが、測定S0を行う電荷蓄積ユニットが光の収集を開始した後で、光の収集を開始することを意味する。これは、測定S1もまた、付近の破損させる物体からいかなる光も収集しないということも、意味する。
【００９３】
さらなる測定S2が、ＢＧ光を捕捉するために行われ得る。S2は、時間TSの間光源１０２をオフにしてＢＧ光を収集し得る。S2は、時間t=-t2からt=-t2+TSまで光を収集し得る。S2によって行われている測定は、M(TL,-t2,TS)である。１つの場合において、t2=TSであり、したがって、S2は、時間t=-t2=-TSからt=0まで光を収集し得る。別の場合において、S2は、M(0,0,TS)であり、光源は、S2測定の間オフのままであり、したがって、ＢＧ光を捕捉しているだけである。一般的に述べると、測定S2は、光源光源１０２から光が受信されない期間の間、ＢＧ光を収集する。
【００９４】
図１２は、本開示のいくつかの実施形態による、光パルスがオフになった後でセンサをオンにする（又は光の収集を開始する）技術に基づいて距離を測定することを示す。設計によって、３つの測定S0、S1、及びS2は、付近の破損させる物体からいかなる光も捕捉せず、又は内面反射によって引き起こされる破損光を捕捉しない。したがって、これらの３つの測定S0、S1、及びS2に基づいて、破損光に反応しない深度推定が、取得され得る。３つの測定S0、S1、及びS2を用いて、深度とともに増加する、又は深度に（積極的に）関係する３つの測定S0、S1、及びS2に基づいて数量を設計及び算出することにより、深度推定を取得することが可能である。このような数量が、深度を示し得る。３つの測定S0、S1、及びS2に基づく１つの例示的な数量が、(S1-S2)/(S0-S1)である。数量は、（１）測定S1-ＢＧ光測定S2と、（２）測定S0-測定S1との比率である。例示するために、図１２は、レーザパルス及びセンサパルスが完全に矩形である場合を示す。プロット１２０２は、放射光を示す。プロット１２０４は、画素の視野内の物体に反射する戻り光、及び背景光を示す。プロット１２０６は、内面反射に起因する破損光を示す。プロット１２０８は、測定S0を行うためのセンサ信号を示す。プロット１２１０は、測定S1を行うためのセンサ信号を示す。プロット１２１２は、ＢＧ光測定S2を行うためのセンサ信号を示す。
【００９５】
破損光を回避するために、光パルスがオフになった後でセンサをオンにする技術を用いて距離を測定することを示すために、図１２は、数量(S1-S2)/(S0-S1)がどのように深度に比例するかを示す。（放射光がプロット１２０２として示される）光源からの戻り光は、時間tRからtR+TLまでオンであり、単位時間aR毎にある量の光がセンサに到達する。単位時間毎にセンサに到達する背景光は、ｂによって示される。光源からの戻り光と背景光との組み合わせが、プロット１２０４として示される。プロット１２０６として示され、センサに到達する破損光は、時間tBからtB+TLまでオンであり、破損光が受信されているときの単位時間当たりの破損光の量は、aBで示される。S0についてプロット１２０８として示されるセンサ信号は、時間TL+tB,maxからTL+tB,max+TSまでオンである。したがって、センサに当たっている光子の数で乗算されるときに、センサの光変換効率としてCeffを示すことが、センサの最終出力値S0=Ceff(aR(tR-tB,max)+bTS)を与える。aR(tR-tB,max)は、センサがオンである時間の間にセンサに当たる戻り光の量を表す。bTSは、センサがオンである時間の間にセンサに当たるＢＧ光の量を表す。S1についてプロット１２１０として示されるセンサ信号は、時間TL+tminからTL+tmin+TSまでオンである。したがって、S1=Ceff(aR(tR-tmin)+bTS)である。aR(tR-tmin)は、センサがオンである時間の間にセンサに当たる戻り光の量を表す。bTSは、センサがオンである時間の間にセンサに当たるＢＧ光の量を表す。S2についてプロット１２１２として示されるセンサ信号は、光源から光が受信されないときの時間TSの間オンであり、したがって、S2=CeffbTSである。
【００９６】
これらの測定に基づいて、光が物体から戻るための時間量は、以下の式に従って、tmin、tB,max、S0、S1、及びS2に基づいて導出され得る。
【数１０９】
2019219400.tif 000111
である。さらに、対象の物体の深度が、そのとき、
【数１１０】
2019219400.tif 000112
によって与えられ得る。
【００９７】
比率の分子S1-S2は、ＢＧ光からの寄与が減算された測定S1を表す数量であることに留意されたい。数量S1又はS1-S2は、物体の距離／深度が増加するにつれて、大きくなる。比率の分母S0-S1は、測定S0と測定S1との間の差を表す数量であることに留意されたい。S0-S1=Ceff(aR(tR-tB,max)+bTS)-Ceff(aR(tR-tmin)+bTS)=Ceff(aR(-tB,max+tmin))である。この数量は、tRから独立しており、それは、この数量が、物体の距離／深度から独立していることを意味することに留意されたい。したがって、比率
【数１１１】
2019219400.tif 000113
は、増加する物体の距離／深度に積極的に関係する。
【００９８】
パルスが完璧な矩形でない場合に、深度の関数として比率(S1-S2)/(S0-S1)を測定し、ルックアップテーブルに値を記憶することが可能である。
【数１１２】
2019219400.tif 000114
であり、比率を深度推定に変換し得るように、ルックアップテーブルは、関数Ｈ（ｘ）を実施する。言い換えると、比率(S1-S2)/(S0-S1)に基づくルックアップテーブルからの結果は、正しい深度推定を出力し得る。Ｈ（ｘ）についての値は、Ｈ（ｘ）が既知であるｘの値の間で外挿法によって推定され得る。深度推定は、以下のようになる。
【数１１３】
2019219400.tif 000115
【００９９】
実施例
【０１００】
実施例１は、内面反射に起因する破損光に反応しない、深度を測定する方法であって、方法は、光を光源によって場面へ放射することと、破損光が画素に当たるが、画素の視野内の物体からの戻り光が画素に当たらない第１の期間の間に、画素に当たっている光に基づいて電荷を収集するように、画素の第１の電荷蓄積ユニットを制御することによって、破損光測定（例えば、Ｆ）を行うことと、破損光測定に基づいて、破損光による影響を受けた１つ以上の測定（例えば、S0又はS1）から破損光からの寄与（例えば、αFC、又はαF,iF）を除去することと、破損光からの寄与が除去された１つ以上の測定に基づいて、深度を判断することと、を含む。例示的な実施形態は、図８及び９、並びにそれに伴う説明に示されている。
【０１０１】
実施例２において、実施例１の方法は、（１）画素に当たる破損光、及び（２）画素に当たる物体からの反射光を、時間的に分離するのに十分短い持続期間の間、光が場面に放射されていることを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。
【０１０２】
実施例３において、実施例１又は２の方法は、全ての破損光が収集された後、かつ物体からの戻り光が画素に当たる前に、第１の期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。
【０１０３】
実施例４において、実施例１の方法は、破損光の一部分が収集された後、かつ物体からの戻り光が画素に当たる前に、第１の期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。
【０１０４】
実施例５において、実施例４の方法は、破損光測定を利得係数によってスケールすることによって、破損光からの寄与を判断することを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。
【０１０５】
実施例６では、実施例１〜５のいずれか１つの方法は、破損光測定が、背景光からの寄与及び破損光からの寄与を含むことを、任意選択的に含み得る。例えば、測定Ｆは、ＢＧ＋Ｃに等しい。
【０１０６】
実施例７において、実施例１〜６のいずれか１つの方法は、背景光測定（例えば、S2）を行うことと、破損光からの寄与（例えば、Ｃ）を取得するために、背景光測定（例えば、S2）に基づいて背景光からの寄与（例えば、ＢＧ）を破損光測定から除去することと、を任意選択的に含み得る。例えば、Ｃは、Ｆ−ＢＧから取得され得る。
【０１０７】
実施例８において、実施例７の方法は、背景光測定を行うことが、光源が光を放射していない（又は背景光のみが画素に当たっている、若しくは物体からの反射光が画素に当たっていない）ときに、画素の第２の電荷蓄積ユニット（例えば、S2）を制御して、第２の期間中に画素に当たっている背景光に基づいて電荷を収集することを含むことを、任意選択的に含み得る。
【０１０８】
実施例９において、実施例１〜８のいずれか１つの方法は、破損光からの寄与（例えば、αFC）を破損光による影響を受ける１つ以上の測定から除去することが、利得係数（例えば、αF）によって破損光からの寄与（例えば、Ｃ）をスケールすることと、破損光からのスケールされた寄与を、破損光による影響を受ける１つ以上の測定から除去することと、を含むことを、任意選択的に含み得る。例えば、Ｍが、破損光による影響を受ける測定である場合、破損光からの寄与は、数量M-αFCを判断することによって除去される。
【０１０９】
実施例１０において、実施例９の方法は、利得係数（例えば、αF）が、１つ以上の測定において使用される放射光の持続期間（例えば、TL）と、破損光測定において使用される放射光の持続期間（例えば、TC）との比率に基づくことを、任意選択的に含み得る。例えば、利得係数αFは、
【数１１４】
2019219400.tif 000116
に等しくてもよい。
【０１１０】
実施例１１において、実施例９又は１０の方法は、利得係数（例えば、αF）が、１つ以上の測定において収集される破損光の量（例えば、fC,M）と、破損光測定において収集される破損光の量（例えば、fC）との比率に基づくことを、任意選択的に含み得る。例えば、利得係数αFは、
【数１１５】
2019219400.tif 000117
に等しくてもよい。
【０１１１】
実施例１２において、実施例１〜１１のいずれか１つの方法は、破損光からの寄与（例えば、αFC）を破損光により影響を受ける１つ以上の測定から除去することが、第１の利得係数によって破損光測定をスケールする（例えば、Fは、αF,iによってスケールされる）ことと、スケールされた破損光測定を、破損光による影響を受ける１つ以上の測定から減算すること（例えば、Si-αF,iFを判断すること）と、を含むことを、任意選択的に含み得る。
【０１１２】
実施例１３において、実施例１２の方法は、背景光測定（例えば、S2）を行うことと、第２の利得係数（例えば、(αF,i-1)）によって背景光測定をスケールすることと、スケールされた背景光測定を、破損光による影響を受ける１つ以上の測定に加算する（例えば、Si+(αF,i-1)S2を実行する）ことと、を任意選択的に含み得る。
【０１１３】
実施例１４において、実施例１３の方法は、第２の利得係数が、１によって減算される第１の利得係数（例えば、(αF,i-1)）に等しいことを、任意選択的に含み得る。
【０１１４】
例えば、破損光からの破損が除去された、調整された測定
【数１１６】
2019219400.tif 000118
は、Si-αF,iF+(αF,i-1)S2に等しくてもよい。調整された測定
【数１１７】
2019219400.tif 000119
は、実施例１２、１３、又は１４における方法を実行することによって取得され得る。
【０１１５】
実施例１５において、実施例１〜１４のいずれか１つの方法は、１つ以上の測定のうちの第１の測定についての電荷と、背景光測定についての電荷とを、同一の電荷蓄積ユニットにおいて累積することによって、１つ以上の測定のうちの第１の測定と背景光測定とを加算することを、任意選択的に含み得る。例えば、同一の電荷蓄積ユニットが、Si+(αF,i-1)S2を判断／実行するために使用され得る。
【０１１６】
実施例１６は、内面反射及び背景光に起因する破損光に反応しない、深度を測定する方法であって、方法は、光を光源によって場面へ放射することと、画素の第１の電荷蓄積ユニットによって、第１の測定（例えば、S0）及び第１の背景光測定（例えば、(αF,0-1)S2)）を加算することと、画素の第２の電荷蓄積ユニットによって、第２の測定(例えばS1)及び第２の背景光測定（例えば、(αF,1-1)S2）を加算することと、第３の電荷蓄積ユニットによって破損光測定（例えば、Ｆ）を行うことと、第１の電荷蓄積ユニット、第２の電荷蓄積ユニット、及び第３の電荷蓄積ユニットにおいて収集される電荷に基づいて深度を判断することと、を含む。例えば、深度を判断するために使用可能な測定は、ただ３つの電荷蓄積ユニット、S0+(αF,0-1)S2を測定／実行する１つの電荷蓄積ユニット、S1+(αF,1-1)S2を測定／実行する１つの電荷蓄積ユニット、Fを測定する１つの電荷蓄積ユニットを用いて実行され得る。
【０１１７】
実施例１７において、実施例１６の方法は、第１の電荷蓄積ユニットによって追加することが、第１の電荷蓄積ユニットにおいて、（１）第１の測定についての電荷（例えば、S0）、及び（２）第１の背景光測定についての電荷（例えば、(αF,0-1)S2）を累積することであって、第１の背景光測定が、画素に当たる背景光のみに基づく、累積することを含むことを、任意選択的に含み得る。例えば、第１の電荷蓄積ユニットは、測定を累積し、S0+(αF,0-1)S2を判断／実行し得る。
【０１１８】
実施例１８において、実施例１７の方法は、第１の背景光測定が、第１の所定の持続期間にわたって収集される背景光を表すことを、任意選択的に含み得る。例えば、第１の背景光測定は、(αF,0-1)に対応する持続期間にわたって行われる背景光測定である。
【０１１９】
実施例１９において、実施例１８の方法は、第１の所定の持続期間が、第１の測定において捕捉される破損光の量（例えば、S0）と、破損光測定において捕捉される破損光の量（例えば、F）との第１の比率（例えば、αF,0）に基づくことを、任意選択的に含み得る。
【０１２０】
実施例２０において、実施例１６〜１９のいずれか１つの方法は、第２の電荷蓄積ユニットによって追加することが、第２の電荷蓄積ユニットにおいて、（１）第２の測定についての電荷（例えば、S1）、及び（２）第２の背景光測定についての電荷（例えば、(αF,0-1)S2）を累積することであって、第２の背景光測定が、画素に当たる背景光のみに基づく、累積することを含むことを、任意選択的に含み得る。例えば、第２の電荷蓄積ユニットは、測定を累積し、S1+(αF,1-1)S2を判断／実行し得る。
【０１２１】
実施例２１において、実施例２０の方法は、第２の背景光測定が、第２の所定の持続期間にわたって収集される背景光を表すことを、任意選択的に含み得る。例えば、第２の背景光測定は、(αF,1-1)に対応する持続期間にわたって行われる背景光測定である。
【０１２２】
実施例２２において、実施例２１の方法は、第２の所定の持続期間が、第２の測定(S1)において捕捉される破損光の量と、破損光測定（F）において捕捉される破損光の量との第２の比率（例えば、αF,1）に基づくことを、任意選択的に含み得る。
【０１２３】
実施例２３において、実施例１６〜２２のいずれか１つの方法は、破損光測定を行うことが、破損光が画素に当たるが、画素の視野内の物体からの戻り光が画素に当たらない期間の間に、画素に当たっている光に基づいて電荷を収集するように、画素の第３の電荷蓄積ユニットを制御することを含むことを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。
【０１２４】
実施例２４において、実施例２３の方法は、全ての破損光が収集された後、かつ物体からの戻り光が画素に当たる前に、期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。
【０１２５】
実施例２５において、実施例１６〜２４のいずれか１つの方法は、（１）画素に当たる破損光及び（２）画素に当たる、画素の視野内の物体からの反射光を、時間的に分離するのに十分短い持続期間の間、光が場面に放射されていることを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。
【０１２６】
実施例２６において、実施例１６〜２２のいずれか１つの方法は、破損光の一部分が収集された後、かつ物体からの戻り光が画素に当たる前に、期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。
【０１２７】
実施例２７において、実施例１６〜２２及び２６のいずれか１つの方法は、破損光測定を利得係数によってスケールすることによって、破損光からの寄与を判断することと、破損光からの寄与を第１の及び第２の測定から除去することとを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。
【０１２８】
実施例２８は、内面反射及び背景光に起因する破損光に反応しない、深度を測定する方法であって、方法は、第１の破損光測定（例えば、F1）を第１の開始時間を有する第１の放射光パルスで行うことと、第２の破損光測定（例えば、F2）を第２の放射光パルスで行うことであって、第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、第２の放射光パルスが、第１の開始時間に対して所定の時間量（例えば、td）だけオフセットする第２の開始時間を有する、行うことと、破損光からの寄与が除去された１つ以上の測定（例えば、S0、S1）に基づいて深度を判断することであって、破損光からの寄与が、第１の破損光測定及び第２の破損光測定（例えば、F1-F2）に基づく、判断することと、を含む。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１２９】
実施例２９において、実施例２８の方法は、第２の放射光パルスが、第１の放射光パルスと同一の持続期間を有することを、任意選択的に含み得る。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１３０】
実施例３０において、実施例２８又は２９の方法は、第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、第１のセンサ信号を用いて電荷を収集することを含むことと、第２の破損光測定を行うことが、画素の第２の電荷蓄積ユニットを制御して、第１のセンサ信号と同一の開始時間、同一の形状、及び同一の持続期間を有する第２のセンサ信号を用いて電荷を収集することを含むことと、を任意選択的に含み得る。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１３１】
実施例３１において、実施例２８〜３０のいずれか１つの方法は、第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、第１の開始時間（例えば、-t1）に、又は第１の開始時間前に電荷の収集を開始し、第２の開始時間後に（例えば、td後に）電荷の収集を停止することを含むことと、第２の破損光測定を行うことが、画素の第２の電荷蓄積ユニットを制御して、第１の開始時間（-t1）に、又は第１の開始時間前に電荷の収集を開始し、第２の開始時間後に（例えば、td後に）電荷の収集を停止することを含むことと、を任意選択的に含み得る。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１３２】
実施例３２において、実施例２８〜３１のいずれか１つの方法は、第１の破損光測定（例えば、F1）と第２の破損光測定（例えば、F2）との間の差が、破損光からの寄与をもたらすことを、任意選択的に含み得る。例えば、シミュレートされた短い光パルスに基づく破損光の測定は、F1-F2を判断／実行することによって取得され得る。
【０１３３】
実施例３３において、実施例２８〜３２のいずれか１つの方法は、第１の破損光測定（例えば、F1）と第２の破損光測定（例えば、F2）との間の差が、所定の時間量に対応するパルス幅を有する放射光パルスを用いて行われる破損光測定に相当することを、任意選択的に含み得る。例えば、数量F1-F2は、tdの持続期間を有するパルスを用いて行われる測定に相当する）。
【０１３４】
実施例３４において、実施例２８〜３３のいずれか１つの方法は、利得係数（例えば、αF,i(F1-F2)）によりスケールされた第１の破損光測定と第２の破損光測定との間の差だけ、所与の測定（例えば、Si）を減算することによって、破損光からの寄与を１つ以上の測定のうちの所与の測定から除去することを、任意選択的に含み得る。例えば、破損光からの寄与を除去することは、Si-αF,i(F1-F2)を判断／実行することを含み得る。
【０１３５】
実施例３５において、実施例３４の方法は、利得係数（αF,i）が、所与の測定において捕捉される破損光と差において捕捉される破損光の量との比率であることを、任意選択的に含み得る。
【０１３６】
実施例３６において、実施例２８〜３５のいずれか１つの方法は、背景光を測定するために、いかなる放射光パルスも用いずに第３の測定（例えば、S2）を行うことと、所与の測定を第３の測定により減算すること（例えば、Si-S2を実行／判断すること）によって、１つ以上の測定のうちの所与の測定から、背景光からの寄与を除去することと、を任意選択的に含み得る。
【０１３７】
例えば、破損光からの破損が除去された、調整された測定
【数１１８】
2019219400.tif 000120
は、Si-αF,i(F1-F2)-S2に等しくてもよい。調整された測定
【数１１９】
2019219400.tif 000121
は、実施例３４、３５、又は３６における方法を実行することによって取得され得る。
【０１３８】
実施例３７において、実施例２８〜２６のいずれか１つの方法は、画素の第１の電荷蓄積ユニットにおいて、（１）利得係数（例えば、
【数１２０】
2019219400.tif 000122
）によってスケールされる第１の測定（例えば、F1）、及び（２）背景光の第３の測定（例えば、S2）を加算すること（例えば、第１の電荷蓄積ユニットが、測定を累積し、
【数１２１】
2019219400.tif 000123
を実行し得る）と、画素の第２の電荷蓄積ユニットにおいて、（１）利得係数（例えば、
【数１２２】
2019219400.tif 000124
）によってスケールされる第２の測定（例えば、F2）、及び（２）１つ以上の測定のうちの所与の測定（例えば、Si）を加算すること（例えば、第２の電荷蓄積ユニットが、測定を累積し、(Si+αF,iF2)を実行し得る）とを、任意選択的に含み得る。例えば、調整される測定
【数１２３】
2019219400.tif 000125
は、２つの電荷蓄積ユニットによって行われ得る２つの加算、例えば、
【数１２４】
2019219400.tif 000126
に再公式化され得る。
【０１３９】
実施例３８は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定（例えば、S0）を行うように制御可能な第１の電荷蓄積ユニット、第２の測定（例えば、S1）を行うように制御可能な第２の電荷蓄積ユニット、背景光測定（例えば、S2）を行うように制御可能な第３の電荷蓄積ユニット、及び破損光測定（例えば、Ｆ）を行うように制御可能な第４の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するために、センサアレイから信号を受信及び処理する処理回路と、を備える。例えば、４つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。
【０１４０】
実施例３９において、実施例３８の深度撮像装置は、背景光からの寄与及び破損光からの寄与を、背景光測定及び破損光測定に基づく第１の測定及び第２の測定のうちの少なくとも１つから除去する処理回路を、任意選択的に含み得る。
【０１４１】
実施例４０において、実施例３９の深度撮像装置は、背景光からの寄与及び破損光からの寄与を、第１の測定及び第２の測定のうちの少なくとも１つから除去した後で、第２の測定と、第１の測定及び第２の測定の合計との比率に基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。深度推定式の例は、本明細書に示された式によって示される。
【０１４２】
実施例４１は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定及び第１の背景光測定を行い、累積する（例えば、測定を累積し、S0+(αF,0-1)S2を実行する）ように制御可能な第１の電荷蓄積ユニット、第２の測定及び第２の背景光測定を行い、累積する（例えば、測定を累積し、S1+(αF,1-1)S2を実行する）ように制御可能な第２の電荷蓄積ユニット、並びに破損光（例えば、Ｆ）を測定するように制御可能な第３の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するためにセンサアレイから信号を受信及び処理する処理回路と、を備える。例えば、３つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。
【０１４３】
実施例４２において、実施例４１の深度撮像装置は、第１の利得係数（例えば、(αF,0-1)）によって定義される第１の持続期間の間、背景光を収集するように制御可能である第１の電荷蓄積ユニットと、第２の利得係数（例えば、(αF,1-1)）によって定義される第２の持続期間の間、背景光を収集するように制御可能である第２の電荷蓄積ユニットと、を任意選択的に含み得る。
【０１４４】
実施例４３において、実施例４１又は４２の深度撮像装置は、第１のセンサについて、第１の電荷蓄積ユニットによって収集される電荷、第２の電荷蓄積ユニットによって収集される電荷、及び第３の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する処理回路を、任意選択的に含み得る。例えば、比率は、
【数１２５】
2019219400.tif 000127
に基づき得る。
【０１４５】
実施例４４において、実施例４３の深度撮像装置は、比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。例えば、ルックアップテーブルは、関数Ｄ＝Ｈ（ｘ）を実施し得る。ここで、ｘは、比率を表す。
【０１４６】
実施例４５は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定（例えば、S1）及び第１の破損光測定（例えば、αF,1F2）を行い、累積するように制御可能な第１の電荷蓄積ユニット、第２の破損光測定（例えば、αF,1F1）及び背景光測定（例えば、S2）を行い、累積するように制御可能な第２の電荷蓄積ユニット、第２の測定（例えば、S0）及び第３の破損光測定（例えば、αF,0F2）を行い、累積するように制御可能な第３の電荷蓄積ユニット、並びに第４の破損光測定（例えば、αF,0F1）及び背景光測定（例えば、S2）を行い、累積するように制御可能な第４の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するためにセンサアレイから信号を受信及び処理する処理回路と、を備える。例えば、４つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。追加的に、短い光パルスは、破損光の測定についてシミュレートされる。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１４７】
実施例４６において、実施例４５の深度撮像装置は、光源を制御して、第１の破損光測定（例えば、αF,1F2）及び第３の破損光測定（例えば、αF,0F2）のために、第１の開始時間を有する第１の光パルスを放出し、第２の破損光測定（例えば、αF,1F1）及び第４の破損光測定（例えば、αF,0F1）のために第２の光パルスを放射する、ドライバを任意選択的に含み得、第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、第２の放射光パルスが、第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１４８】
実施例４７において、実施例４５又は４６の深度撮像装置は、それぞれの数の反復される測定を含む、第１、第２、第３、及び第４の破損光測定のうちのそれぞれ1つを、任意選択的に含み得る。その数は、それぞれの利得係数（例えば、αF,0及びαF,1）に対応する。例えば、それぞれの利得係数αF,0及びαF,1は、F1又はF2の反復される測定を実行することによって実現され得る。
【０１４９】
実施例４８において、実施例４５〜４７のいずれか１つの深度撮像装置は、第１のセンサについて、第１の電荷蓄積ユニットによって収集される電荷、第２の電荷蓄積ユニットによって収集される電荷、第３の電荷蓄積ユニットによって収集される電荷、及び第４の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する処理回路を、任意選択的に含み得る。例えば、比率は、
【数１２６】
2019219400.tif 000128
に基づき得る。
【０１５０】
実施例４９において、実施例４８の深度撮像装置は、比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。例えば、ルックアップテーブルは、関数Ｄ＝Ｈ（ｘ）を実施し得る。ここで、ｘは、比率を表す。
【０１５１】
実施例５０は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定（例えば、S0）及び第１の破損光測定（例えば、αF,0F2）を行い、累積するように制御可能な第１の電荷蓄積ユニット、第２の測定（例えば、S1）及び第２の破損光測定（例えば、αF,0F1）を行い、累積するように制御可能な第２の電荷蓄積ユニット、並びに背景光測定（例えば、S2）及び第２の破損光測定（例えば、αF,0F1）を行い、累積するように制御可能な第３の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するためにセンサアレイから信号を受信及び処理する処理回路と、を備える。例えば、３つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。追加的に、短い光パルスは、破損光の測定についてシミュレートされる。第２の測定S1は、いかなる小さな破損光も、又はほとんど小さな破損光を捕捉しない方法で行われる。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１５２】
実施例５１において、実施例５０の深度撮像装置は、光源を制御して、第１の破損光測定（例えば、αF,0F2）のために、第１の開始時間を有する第１の光パルスを放射し、第２の破損光測定（例えば、αF,0F1）のために、第２の光パルスを放射する、ドライバを任意選択的に含み得、第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、第２の放射光パルスが、第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。
【０１５３】
実施例５２において、実施例５０又は５１の深度撮像装置は、第１の破損光測定及び第２の破損光測定のうちのそれぞれ１つが、ある数の反復された測定を含み、その数が、利得係数（例えば、αF,0）に対応することを、任意選択的に含み得る。例えば、利得係数αF,0は、F1又はF2の反復される測定を実行することによって実現され得る。
【０１５４】
実施例５３において、実施例５２の深度撮像装置は、利得係数が、第１の測定（例えば、S0）において捕捉される破損光の量、並びに第１の破損光測定及び第２の破損光測定（例えば、F1-F2）において捕捉される破損光の量に依存することを、任意選択的に含み得る。
【０１５５】
実施例５４において、実施例５０〜５３のいずれか１つの深度撮像装置は、第１のセンサについて、第１の電荷蓄積ユニットによって収集される電荷、第２の電荷蓄積ユニットによって収集される電荷、及び第３の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する、処理回路を、任意選択的に含み得る。例えば、比率は、
【数１２７】
2019219400.tif 000129
に対応し得る。
【０１５６】
実施例５５において、実施例５４の深度撮像装置は、比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。例えば、ルックアップテーブルは、関数Ｄ＝Ｈ（ｘ）を実施し得る。ここで、ｘは、比率を表す。
【０１５７】
実施例Ａは、本明細書で説明される方法のいずれか１つを実施する、及び／又は実行する手段を備える装置である。
【０１５８】
変形、利点、適用、及び例示
【０１５９】
一般的に述べると、本明細書で開示される実施形態は、内面反射問題に悩まされる深度撮像装置に適用可能である。これらの深度撮像装置は、飛行時間型の測距システムを含む光学システムにおいて見出され得る。深度、距離、及び／又は速度を判断するために設計される光学システムは、スポーツ用電子機器、民生用電子機器、医療機器、航空宇宙／軍事機器、自動車用電子機器、セキュリティシステムなどを含む、多くのアプリケーションにおいても見出され得る。
【０１６０】
本開示は、本明細書で開示される様々な技術の任意の１つ以上の部分を実施する手段を含み得る装置を含む。
【０１６１】
内面反射問題に対処するための、本明細書で説明される（例えば、図８〜１２に示される）実施形態は、破損した深度画像を記録し、破損した深度画像に対する画像処理を実行して、内面反射により引き起こされる影響をフィルタで除去するシステムとは区別される。画素自体が、内面反射によって引き起こされる影響を隔離及び測定するような方法で制御され、深度計算が、影響を適切に除去することによって破損光測定を考慮に入れるため、本明細書で説明される実施形態は、それらのシステムとは対照的である。特に、図１１及び１２によって示されるスキームは、埃がセンサの近くで舞っているときに、埃が光を回折し、大きな半透明の円を生成する、「塵埃飛散」問題を免れることが、特に得意であり得る。産業アプリケーションは、塵埃飛散問題に特に敏感であり得る。埃のように近くで回折する物体からの測定では、光が全く捕捉されないため、塵埃飛散問題は、図１１及び１２によって示されるスキームを用いて完全になくなる。
【０１６２】
本明細書で説明される（例えば、図８〜１２に示される）実施形態は、内面反射問題に対処し、深度撮像装置から数センチメートル離れているのと同じくらい近い、破損されていない深度推定を出力し得る。
【０１６３】
いくつかの場合において、破損光の測定Fを行う電荷蓄積ユニットは、破損光検出器として使用され得る。十分な破損光がセンサ内の画素によって収集される場合、検出器は、有用な情報をユーザに提供し得る。深度撮像装置は、破損光があることをユーザに通知するために出力を生成させ、内面反射についての原因（例えば、汚れ、指、埃、水滴など）を除去するようにユーザに求め得る。
【０１６４】
さらに、検出器は、破損光を考慮するために、深度撮像装置の動作モードを修正し得る。例えば、破損光が全く検出されない場合、深度撮像装置は、式（２）又は（３）を伴う任意の１つ以上の例示的実施形態に基づいて、深度推定を算出し得る。破損光が検出される場合、深度撮像装置は、式（４）〜（１０）を伴う任意の１つ以上の例示的実施形態に基づいて、測定を行い、深度推定を算出するように構成され得る。
【０１６５】
十分な破損光が存在するかどうかを検出するために、本明細書で説明される技術に基づいて、画素のいずれかに当たる破損光を感知し、画素に当たる全ての光を感知することが可能である。破損光と、画素に当たっている全ての光との比率が、閾値より大きい場合、破損光検出器は、十分な破損光が存在することを示す信号を出力し得る。比率が閾値より小さい場合、破損光は十分に存在しない。
【０１６６】
センサアレイに当たる全ての破損光を合計するために、各画素を読み出す必要がないように、破損光を測定する電荷蓄積ユニットの群からの電子が、（例えば、カラムによって）収集され得る。同様に、画素に当たる全ての光を合計するために、各画素を読み出す必要がないように、全ての光を測定する電荷蓄積ユニットの群からの電子が、（例えば、カラムによって）収集され得る。
【０１６７】
本明細書において概説される仕様、寸法、及び関係（例えば、回路コンポーネント）の全てが、例示及び教示のみの目的で提示されるだけであることに留意することも必須である。このような情報は、本開示の趣旨、又は添付の特許請求の範囲及び／若しくは例示の範囲から逸脱することなく、相当に変動し得る。仕様は、１つの非限定的な例のみに適用し、したがって、それらは、そのように解釈されるべきである。前述の説明において、例としての実施形態は、特定のコンポーネント配列を参照して説明された。様々な修正及び変更が、添付の特許請求の範囲及び／又は実施例の範囲から逸脱することなく、このような実施形態に対して行われてもよい。したがって、説明及び図面は、限定的な意味ではなく例示的であると見なされるものとする。
【０１６８】
本明細書で提供される多数の例では、対話が、２つ、３つ、４つ、又はそれ以上の電気コンポーネントに関して説明され得ることに留意されたい。しかしながら、これは、明確化及び例示の目的のみで行われている。システムは、任意の好適な様態で統合され得ると、理解されるべきである。類似の設計代替手段に沿って、図面の例示されるコンポーネントのいずれかが、様々な可能な構成で組み合わされてもよく、その全てが、この明細書の広義の範囲内で明確である。ある場合において、限られた数の電気素子を参照するだけで、フローの所与のセットの機能性の１つ以上を説明することが、より容易であり得る。図面の電気回路及びその教示は、容易にスケール可能であり、多数のコンポーネント及びより複雑な／高度な配列及び構成を収容し得ると、理解されるべきである。したがって、提供される例は、範囲を限定し、又は無数の他のアーキテクチャに潜在的に適用されるような電気回路の広範な教示を妨げるべきではない。
【０１６９】
本明細書において、「１つの実施形態」、「例としての実施形態」、「実施形態」、「別の実施形態」、「いくつかの実施形態」、「様々な実施形態」、「他の実施形態」、「代替の実施形態」などに含まれる様々な特徴（例えば、要素、構造、モジュール、コンポーネント、ステップ、動作、特性など）に対する参照は、任意のそのような特徴が、本開示の１つ以上の実施形態に含まれるが、必ずしも同一の実施形態に結合されるとは限らないことを意味することが意図される。
【０１７０】
測定及び深度推定を行うことに関する機能が、図面に示される回路によって実行され得る可能な機能のうちのいくつかだけを示すことに留意することも重要である。これらの動作のいくつかが、適宜削除され、若しくは除去されてもよく、又は、これらの動作が、本開示の範囲から逸脱することなく相当に修正され、若しくは変更されてもよい。さらに、これらの動作のタイミングが、相当に改変されてもよい。動作フローは、例示及び考察の目的で提示されている。任意の好適な配列、時系列、構成、及びタイミング機構が、本開示の教示から逸脱することなく提供され得るという点において、本明細書で説明される実施形態によって、実質的な柔軟性が提供される。
【０１７１】
多数の他の変更、代用、変形、改変、及び修正が、当業者に確認され得、本開示は、そのような変更、代用、変形、改変、及び修正の全てを、本開示の範囲内に入るものとして包含すると意図される。本明細書で説明された装置の全ての任意選択的な特徴もまた、本明細書で説明された方法又はプロセスに関して実施されてもよく、例における詳細が、１つ以上の実施形態のどの場所でも使用され得ることに、留意されたい。
【符号の説明】
【０１７２】
１０２  光源
１０４  センサアレイ
１０６  レンズ
１１０  オブジェクト
１１２  オブジェクト
１１４  オブジェクト
１８０  ドライバ
１９０  処理回路
２０２  プロット
２０４  プロット
２０６  プロット
２０８  プロット
３０２  プロット
３０４  プロット
３０６  プロット
４０２  プロット
４０４  プロット
４０６  プロット
４０８  プロット
４１０  プロット
７０２  汚れ
７０４  画面
８０２  プロット
８０４  プロット
８０６  プロット
８０８  プロット
８１０  プロット
８１２  プロット
９０２  プロット
９０４  プロット
９０６  プロット
９０８  プロット
９１０  プロット
９１２  プロット
１００２  プロット
１００４  プロット
１００６  プロット
１００８  プロット
１０１０  正パルス
１０２０  負パルス
１１０２  プロット
１１０４  プロット
１１０６  プロット
１１０８  プロット
１１１０  プロット
１１１２  プロット
１２０２  プロット
１２０４  プロット
１２０６  プロット
１２０８  プロット
１２１０  プロット
１２１２  プロット
【図１】
2019219400.tif 000130
【図２】
2019219400.tif 000131
【図３】
2019219400.tif 000132
【図４】
2019219400.tif 000133
【図５】
2019219400.tif 000134
【図６】
2019219400.tif 000135
【図７】
2019219400.tif 000136
【図８】
2019219400.tif 000137
【図９】
2019219400.tif 000138
【図１０】
2019219400.tif 000139
【図１１】
2019219400.tif 000140
【図１２】
2019219400.tif 000141
【外国語明細書】
2019219400000001.pdf