(57)【要約】【課題】本技術の実施形態は、タイム・オブ・フライト撮像システムを用いてシーンの３次元（３Ｄ）表現を生成するための（３Ｄセンシングとしても知られる）装置及び方法を提供する。【解決手段】特に、本技術は、センサの視野にわたって空間的に不均一な強度を有する照明を出射し、作動機構を用いてセンサの視野の少なくとも一部を横切って移動されるタイム・オブ・フライト撮像カメラシステムを備える装置を提供する。【選択図】図１
2021533488.tif 000002
【特許請求の範囲】
【請求項１】
シーンの３次元表現を生成する際に使用する装置であって、
マルチピクセルセンサ及び光源を備え、前記センサの視野にわたって空間的に不均一な強度を有する照明を出射するように配置されたタイム・オブ・フライト（ＴｏＦ）撮像カメラシステムと、
前記センサの前記視野の少なくとも一部にわたって前記照明を移動させることによって前記表現の生成を可能とするための作動機構と
を備える前記装置。
【請求項２】
前記空間的に不均一な強度は、ピーク出射強度が略一定であり及び／又は該ピーク出射強度が最大レベルの少なくとも５０％である一組の領域に対応する、請求項１に記載の装置。
【請求項３】
前記一組の領域が所与の瞬間に前記センサの前記視野の１％〜５０％をともに覆い、選択的に、前記一組の領域が所与の瞬間に前記センサの前記視野の１０％超で５０％未満、４０％未満、３０％未満又は２０％未満をともに覆い、選択的に、前記一組の領域が所与の瞬間に前記センサの前記視野の２０％超で５０％未満、４０％未満又は３０％未満をともに覆い、選択的に、前記一組の領域が所与の瞬間に前記センサの前記視野の３０％超で５０％未満又は４０％未満をともに覆い、選択的に、前記一組の領域が所与の瞬間に前記センサの前記視野の４０％超で５０％未満をともに覆う、請求項２に記載の装置。
【請求項４】
前記作動機構は、前記照明を前記センサの前記視野の少なくとも一部にわたって走査パターンで移動させる、請求項２又は３に記載の装置。
【請求項５】
前記走査パターンは、前記照明を前記センサの前記視野の少なくとも一部にわたって１つの軸に沿って移動させることを含む、請求項４に記載の装置。
【請求項６】
前記走査パターンは、出射される前記照明を前記シーンの少なくとも一部にわたって２つの軸に沿って移動させることを備える、請求項４に記載の装置。
【請求項７】
前記走査パターンのサイクル中に前記移動によって前記領域が前記センサの前記視野の７５％超、９０％超又は略全域を覆うように、前記一組の領域が配置された、請求項５又は６に記載の装置。
【請求項８】
前記走査パターンのサイクル中に前記移動が前記センサの前記視野の同じ部分を２回以上覆う領域を回避するように、前記一組の領域が配置された、請求項５〜７のいずれか一項に記載の装置。
【請求項９】
前記移動は、前記不均一な強度における特定の点に、前記走査パターンのサイクル中に前記センサの前記視野の幅又は高さの５０％未満、４０％未満、３０％未満、２０％未満、１０％未満又は５％未満だけ移動させる、請求項５〜８のいずれか一項に記載の装置。
【請求項１０】
前記一組の領域は前記センサの前記視野の少なくとも１つの方向において周期性を有し、前記移動は、前記不均一な強度における特定の点に、前記少なくとも１つの方向における前記周期性の略逆数だけ移動させる、請求項５〜９のいずれか一項に記載の装置。
【請求項１１】
出射された前記照明が、円形ビーム形状を有する光ビームであり、光の平行縞のパターンからなり、又は光のドット若しくは円のパターンからなる、請求項１〜１０のいずれか一項に記載の装置。
【請求項１２】
前記表現を生成する所与の瞬間における前記一組の領域内の視野を有する、前記センサの画素のみからの情報を用いるように構成された、請求項２〜１１のいずれか一項に記載の装置。
【請求項１３】
前記出射された照明は、前記一組の領域の全体にわたって実質的に同じ時間変動を有する、請求項２〜１２のいずれか一項に記載の装置。
【請求項１４】
前記出射された照明は、高頻度で変動され、比較的低頻度で反復的に前記視野にわたって移動される、請求項１３に記載の装置。
【請求項１５】
前記作動機構は、前記出射された照明を前記シーンにおける独立した位置に移動させる、請求項１〜１４のいずれか一項に記載の装置。
【請求項１６】
前記作動機構は、前記出射された照明を前記シーンの少なくとも一部にわたって連続的に移動させる、請求項１〜１５のいずれか一項に記載の装置。
【請求項１７】
前記作動機構は、少なくとも１つの形状記憶合金（ＳＭＡ）アクチュエータワイヤを備える、請求項１〜１６のいずれか一項に記載の装置。
【請求項１８】
前記光源は、アレイ状に配置された複数のレーザを備える、請求項１〜１７のいずれか一項に記載の装置。
【請求項１９】
前記複数のレーザが、垂直共振器面発光レーザ（ＶＣＳＥＬ）アレイに対応する、請求項１８に記載の装置。
【請求項２０】
前記複数のレーザからの照明を前記センサの前記視野の割合に対応する単一のビームに合焦させる合焦レンズを備える請求項１８又は１９に記載の装置。
【請求項２１】
複数のマイクロレンズであって、各マイクロレンズは前記複数のレーザの１つからの照明を複数のビームの１つに合焦させるように構成され、前記複数のビームの各々が前記センサの前記視野の割合に対応する、複数のマイクロレンズを備える請求項１８又は１９に記載の装置。
【請求項２２】
前記ビーム又は前記複数のビームの各々を更なる複数のビームに分割するように構成された光学要素を備える請求項２０又は２１に記載の装置。
【請求項２３】
請求項２０に従属する場合に、前記更なる複数のビームが扇パターンに対応する、請求項２２に記載の装置。
【請求項２４】
前記作動機構は、前記複数のレーザ及び１以上の更なる光学要素を備えるサブモジュールを少なくとも１つの軸に関してティルトさせるように構成された、請求項１８〜２３のいずれか一項に記載の装置。
【請求項２５】
前記作動機構は、前記照明を前記センサの前記視野の前記少なくとも一部にわたって移動させるために、レーザの前記アレイに少なくとも略平行な平面内で１以上の直交方向に移動可能な少なくとも１つのレンズを備える、請求項１８〜２３のいずれか一項に記載の装置。
【請求項２６】
前記少なくとも１つのレンズは、ボールレンズに対応する、請求項２５に記載の装置。
【請求項２７】
請求項２１に従属する場合に、前記少なくとも１つのレンズは、前記複数のマイクロレンズに対応する、請求項２５に記載の装置。
【請求項２８】
前記少なくとも１つのレンズの移動の０．０２５度／μｍ超の角度だけ前記照明の方向を変化させるように構成された、請求項２５〜２７のいずれか一項に記載の装置。
【請求項２９】
前記作動機構は、前記出射された照明をステアリングするために少なくとも１つのティルト用ミラーを備える、請求項１８〜２３のいずれか一項に記載の装置。
【請求項３０】
前記作動機構は、前記出射された照明をステアリングするために少なくとも一対の回転可能プリズムを備える、請求項１８〜２３のいずれか一項に記載の装置。
【請求項３１】
前記作動機構は、前記照明をステアリングするための適応ビームステアリング機構を備える、請求項１〜３０のいずれか一項に記載の装置。
【請求項３２】
前記ＴｏＦ撮像カメラシステム又は光学カメラが、前記シーンの最初の走査を実行して前記シーン内の１以上の対象の被写体を識別するように構成された、請求項１〜３１のいずれか一項に記載の装置。
【請求項３３】
シーンの３次元表現を生成する際に使用する方法であって、
タイム・オブ・フライト（ＴｏＦ）撮像カメラシステムを用いて、反射光を受光するのに用いられるセンサの視野にわたって空間的に不均一な強度を有する照明を出射するステップと、
作動機構を用いて、前記センサの前記視野の少なくとも一部にわたって前記照明を移動させることによって前記表現の生成を可能とするステップと
を備える方法。
【請求項３４】
請求項３３に記載の方法を実施するプロセッサ制御コードを保持する非一時的データキャリア。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、概略として、シーンの３次元（３Ｄ）表現を生成するための（３Ｄセンシングとしても知られる）、特に、タイム・オブ・フライト撮像システムを用いて３Ｄ表現を生成するための装置及び方法に関する。
【発明の概要】
【０００２】
本技術の第１のアプローチでは、シーンの３次元表現を生成する際に使用する装置が提供され、その装置は、マルチピクセルセンサ及び光源を備えるとともにセンサの視野にわたって空間的に不均一な強度を有する照明を出射するように配置されたタイム・オブ・フライト（ＴｏＦ）撮像カメラシステムと、センサの視野の少なくとも一部にわたって照明を移動させることによって上記表現の生成を可能とするための作動機構とを備える。これは、センサを移動させずに達成され得る。
【０００３】
不均一な照明は、光のビーム、光のパターン、光の縞状パターン、光のドットパターンなどの任意の形態の照明であり得る。これらは単に例示のタイプの照明であり、非限定的なものであることが理解されるはずである。
【０００４】
装置は、例えば、スマートフォン、モバイルコンピューティングデバイス、ラップトップ、タブレットコンピューティングデバイス、セキュリティシステム、ゲームシステム、拡張現実システム、拡張現実デバイス、ウェアラブルデバイス、ドローン、航空機、宇宙船、車両、自律走行車、ロボットデバイス、家庭用電子機器、ドモティックデバイス及びホームオートメーションデバイスのいずれかであり得る（又はそれに含まれ得る）。
【０００５】
本技術の第２のアプローチでは、シーンの３次元表現を生成する際に使用する方法が提供され、その方法は、タイム・オブ・フライト（ＴｏＦ）撮像カメラシステムを用いて、反射光を受光するのに用いられるセンサの視野にわたって空間的に不均一な強度を有する照明を出射するステップと、作動機構を用いて、センサの視野の少なくとも一部にわたって照明を移動させることによって上記表現の生成を可能とするステップとを備える。
【０００６】
ここに記載される装置は、３Ｄセンシング、デプスマッピング、航空測量、陸上測量、宇宙での又は宇宙からの測量、水路測量、水中測量、シーン検出、衝突警告、セキュリティ、顔認識、拡張現実、車両における先進運転支援システム、自律走行車、ゲーミング、ジェスチャー制御／認識、ロボットデバイス制御、非接触技術及びホームオートメーションなどの多数の技術又は目的（及びそれらの関連のデバイス又はシステム）に使用され得る。これは本装置を利用することから利益を得ることができる例示の技術の非網羅的列挙であることが理解されるはずである。
【０００７】
本技術の関連のアプローチでは、ここに記載される方法のいずれかを実施するプロセッサ制御コードを保持する非一時的データキャリアが提供される。
【０００８】
好適な特徴は、付随する従属請求項に記載される。
【０００９】
理解されるように、本技術は、システム、方法又はコンピュータプログラム製品として具現化され得る。したがって、本技術は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態、又はソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態をとり得る。
【００１０】
またさらに、本技術は、そこに具現化されたコンピュータ可読プログラムコードを有するコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとり得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。コンピュータ可読媒体は、例えば、これに限定されないが、電子、磁気、光学、電磁、赤外線若しくは半導体システム、装置若しくはデバイス又はこれらの任意の適宜の組合せであり得る。
【００１１】
本技術の動作を実行するためのコンピュータプログラムコードは、オブジェクト指向プログラミング言語及び従来の手続き型プログラミング言語などの１以上のプログラミング言語の任意の組合せで記述され得る。コードコンポーネントは、手続き、方法などとして具現化されてもよいし、ネイティブ命令セットの直接機械命令から上位のコンパイル又はインタープリタ言語構成まで、アブストラクションのいずれかのレベルにおける命令又は命令のシーケンスの形態をとり得るサブコンポーネントを備えていてもよい。
【００１２】
本技術の実施形態は、プロセッサで実行されると、プロセッサにここに記載する方法のいずれかを実施させるコードを保持する非一時的データキャリアも提供する。
【００１３】
本技術は、例えば、汎用コンピュータシステム上で又はデジタル信号プロセッサ（ＤＳＰ）上で上記方法を実施するプロセッサ制御コードをさらに提供する。本技術は、実行されると、特に非一時的データキャリア上で上記方法のいずれかを実施するプロセッサ制御コードを保持するキャリアも提供する。コードは、ディスク、マイクロプロセッサ、ＣＤ−又はＤＶＤ−ＲＯＭ、不揮発性メモリ（例えば、フラッシュ）若しくは読み出し専用メモリ（ファームウェア）などのプログラムされたメモリなどのキャリア上に又は光学若しくは電気信号キャリアなどのデータキャリア上に提供され得る。ここに記載する技術の実施形態を実施するコード（及び／又はデータ）は、Ｃ言語などの従来的な（インタープリタ又はコンパイル）プログラミング言語におけるソース、オブジェクト若しくは実行可能コード、又はアセンブリコード、ＡＳＩＣ（特定用途向け集積回路）若しくはＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）を設定若しくは制御するためのコード、又はＶｅｒｉｌｏｇ（ＲＴＭ）若しくはＶＨＤＬ（超高速集積回路ハードウェア記述言語）などのハードウェア記述言語のためのコードを備え得る。当業者には分かるように、そのようなコード及び／又はデータは、相互に通信する複数の結合コンポーネント間に分散され得る。本技術は、システムのコンポーネントの１以上に結合されたマイクロプロセッサ、ワーキングメモリ及びプログラムメモリを含むコントローラを備え得る。
【００１４】
本技術の実施形態による論理的方法の全部又は一部は上記方法のステップを実行するロジック要素を備えるロジック装置において適宜具現化され得ること、及びそのようなロジック要素は、例えば、プログラマブルロジックアレイ又は特定用途向け集積回路におけるロジックゲートなどのコンポーネントを備え得ることも分かるはずである。そのようなロジック構成は、例えば、固定され又は伝送可能なキャリア媒体を用いて記憶又は伝送され得る仮想ハードウェア記述子言語を用いてそのようなアレイ又は回路におけるロジック構造体を一時的又は永続的に確立するための要素を有効化する際にさらに具現化され得る。
【００１５】
ある実施形態では、本技術は、そこに機能的データを有するデータキャリアの形態で実現されてもよく、当該機能的データは、コンピュータシステム又はネットワークに読み込まれてそれによって動作されると、当該コンピュータシステムが上記方法の全てのステップを実行することを可能とする機能的コンピュータデータ構造体を備える。
【００１６】
添付図面を参照して、本技術の実施を、例示としてのみここに説明する。
【図面の簡単な説明】
【００１７】
【図１】図１は、タイム・オブ・フライト（ＴｏＦ）カメラを用いてシーンの３次元（３Ｄ）表現を生成するための装置又はシステムの模式図を示す。
【図２】図２は、シーンの３Ｄ表現を生成するための例示のステップのフローチャートを示す。
【図３】図３(Ａ)は、円形照明を用いる９点走査パターンを示す。図３(Ｂ)は、円形照明を用いる５点走査パターンを示す。
【図４】図４(Ａ)は、光のドットパターンを用いる６点走査パターンを示す。図４(Ｂ)は、光の縞状パターンを用いる３点走査パターンを示す。
【図５】図５(Ａ)は、照明がシーンの中央に向けられた３Ｄ表現を生成するための装置のブロック図を示す。図５(Ｂ)は、照明がシーンの右側に向けられた３Ｄ表現を生成するための装置のブロック図を示す。
【図６】図６(Ａ)は、均一照明を出射するＴｏＦ撮像システムによって撮影された画像を示す。図６(Ｂ)は、不均一照明を出射するＴｏＦ撮像システムによって撮影された画像を示す。
【図７】図７(Ａ)は、図６(Ａ)に示す画像の拡大図を示す。図７(Ｂ)は、図６(Ｂ)に示す画像の拡大図を示す。
【図８】図８(Ａ)は、照明パターンの模式表現である。図８(Ｂ)は、照明パターンの模式表現である。図８(Ｃ)は、照明パターンの模式表現である。図８(Ｄ)は、照明パターンの模式表現である。図８(Ｅ)は、照明パターンの模式表現である。
【図９】図９(Ａ)は、図８(Ａ)〜(Ｅ)の照明パターンの１以上を生成するのに使用され得る構成の模式表現である。図９(Ｂ)は、図８(Ａ)〜(Ｅ)の照明パターンの１以上を生成するのに使用され得る構成の模式表現である。図９(Ｃ)は、図８(Ａ)〜(Ｅ)の照明パターンの１以上を生成するのに使用され得る構成の模式表現である。図９(Ｄ)は、図８(Ａ)〜(Ｅ)の照明パターンの１以上を生成するのに使用され得る構成の模式表現である。
【図１０】図１０(Ａ)は、図８のような照明パターンを移動させるのにボールレンズが使用される構成の模式表現である。図１０(Ｂ)は、図８のような照明パターンを移動させるのにボールレンズが使用される構成の模式表現である。
【図１１】図１１(Ａ)は、図８のような照明パターンを移動させるのにマイクロレンズアレイが使用される構成の模式表現である。図１１(Ｂ)は、図８のような照明パターンを移動させるのにマイクロレンズアレイが使用される構成の模式表現である。
【発明を実施するための形態】
【００１８】
概略として、本技術の実施形態は、タイム・オブ・フライト撮像システムを用いてシーンの３次元（３Ｄ）表現を生成するための（３Ｄセンシングとしても知られる）装置及び方法を提供する。特に、本技術は、センサの視野にわたって空間的に不均一な強度を有する照明を出射し、作動機構を用いてセンサの視野の少なくとも一部を横切って移動されるタイム・オブ・フライト撮像カメラシステムを備える装置を提供する。
【００１９】
タイム・オブ・フライト（ＴｏＦ）カメラシステムは長距離の計測で知られ、それらは、例えば、建造物測量において距離を計測するのに使用される。タイム・オブ・フライトカメラシステムは、光のパルスが出射器からセンサ／受光器／検出器まで伝搬するのに要する時間を推定することによって作用する。時間（秒単位）の推定値は、単にその時間に光速の半分（すなわち、１．５×１０８ｍｓ−１）を乗ずることによって距離（メートル単位）に変換可能である。このシステムの計時は、好ましくは、少なくともナノ秒の解像度で高精度かつ精密である必要がある。
【００２０】
（可視光カメラで撮影されていることにもなる）撮像されているシーンを妨害することを回避するために、不可視光波長がＴｏＦカメラシステムに使用され得る。近赤外線（ＮＩＲ）帯域（波長７５０ｎｍ〜１．４μｍ）が、吸収線がなくても良好な解像能力の小型（可搬）レーザを利用できることに起因して、通常は選択される。
【００２１】
飛行時間（タイム・オブ・フライト）を検出するための幾つかの異なるメカニズムがあるが、最も実用的な２Ｄセンサは、光の多数のパルスが出射されて受光の位相シフトが計測されるという変調原理において作用する。変調周波数は標準的には１〜１００ＭＨｚ（すなわち、１０ｎｓ〜１μｓ）の範囲にあり、それは、同様に（偽信号を区別することができないことに起因して）計測可能な最大範囲を決定する。１〜１００ＭＨｚの変調は、（それぞれ）概ね１５０ｍ〜１．５ｍの最大範囲に対応する。
【００２２】
要求レベルの性能のカメラを理想条件下で設計することは可能であるが、実用的な信号対ノイズレベルが、とりわけ深度範囲及び深度解像度の観点で、利用可能な性能を減少させてしまう。典型的な問題は、他の照明光源及び特に直射日光が背景照明を増加させ、それが飛行時間信号に押し寄せて飛行時間の検出が困難となり得る（ノイズが多くなる）又は不可能となり得る（全く検出できない）ことである。通常は、双方のパワーの制約に起因して（デバイスは、標準的には１〜８Ｗの瞬時電力範囲で動作している）及びユーザ障害を防止するためのレーザからの光パワー出力に対する厳格な制限があり得るため、照明光源からの出力パワーを増加させることができない。
【００２３】
あるアプリケーションは、長距離において高精度な深度計測を必要とする。例えば、人工拡張現実システム及び車両又はロボットデバイスの衝突検出システムは、長い範囲にわたる高精度な深度計測、例えば、撮像システムから１０ｍ離れた距離で１０ｃｍの深度解像度を必要とし得る。
【００２４】
間接タイム・オブ・フライトカメラは、通常は被写界を投光することを試行し、６０×４５度の視野角を有し得る。これは、光源としてＶＣＳＥＬアレイ（垂直共振器面発光レーザアレイ）及び被写界にわたる照明の均一な拡がりを確保するための拡散板を用いて達成され得る。標準的なＴｏＦカメラシステムの電気的及び光学的パワーの制約を考慮すると、これは、良好な品質の深度センシング能力が約４メートルの距離に制限されるので、被写体が、例えば、６メートル離れると有用な深度情報が全く戻されないことを意味し得る。
【００２５】
そこで、本出願人は、ＴｏＦを用いて長距離で３Ｄセンシングを実行するための向上したメカニズムの必要性を認識した。
【００２６】
ＶＣＳＥＬアレイを備えるＰＭＤ  Ｆｌｅｘｘ  ＴｏＦシステムが、どのようにしてＴｏＦベースの３Ｄセンシングシステムの解像度が長距離について改善され得るのかを特定するために試験された。ＴｏＦシステムは、システムから少なくとも５メートル離れて左手親指を伸ばすとともに右手で１０ｃｍ以下の立方体を持って立つ人を撮像するように設定された。システムは、全ての試験について５ｆｐｓ（秒当たりのフレーム数）を撮影するように設定された。試験は、均一照明及び不均一照明を用いて様々な距離において（ｉ）人の概ねの体形、（ｉｉ）左手の形状及び左手の個々の指、及び（ｉｉｉ）立方体の形状を明確に識別することができるか否かを判定しようとした。
【００２７】
図６(Ａ)は、ＴｏＦシステムが均一照明を出射し、撮像されている人がカメラから５．２メートル以内で離れている場合にＴｏＦ撮像システムによって撮影された画像を示す。これは、シーン全体がＴｏＦ撮像システムによって充分に照射されることを示す。図６(Ｂ)は、ＴｏＦシステムが（空間的に）不均一照明を出射する場合にＴｏＦ撮像システムによって撮影された画像を示す。不均一照明は、ＴｏＦシステムから拡散板を除去することで実現された。図６(Ｂ)では、撮像される人は、カメラから６メートル以内で離れていた。これは、シーンの縁よりもシーンの中央の方が充分に照射されること（すなわち、中央シーンの照明を増加したこと）を示すが、結果として、シーンの中央における深度情報の精度及び／又は範囲が改善されることを示す。
【００２８】
図７(Ａ)及び７(Ｂ)は、図６(Ａ)及び６(Ｂ)に示す画像の拡大図をそれぞれ示す。（ｉ）人の概ねの体形を特定することに関して、図７(Ａ)（均一照明）は粗い体形及び乏しい深度識別を示すが、図７(Ｂ)（不均一照明）はより明瞭で鮮明な体形及び人の胴体の中心からその胴体の縁までの深度の明瞭な変化を示す。（ｉｉ）左手の形状及び左手の個々の指を特定することに関して、図７(Ａ)では手の形状ははっきりとしないが、図７(Ｂ)では手の形状はより明瞭であり、親指がやや目立っている。（ｉｉｉ）立方体の形状を特定することに関して、図７(Ａ)では立方体は歪んでいるが、図７(Ｂ)では立方体の四角形の辺形状がより目立っている。したがって、試験は、照明の大部分が視野の２５％以下で合焦される場合に、離れた距離でのＴｏＦベースの３Ｄセンシングシステムの深度情報の精度が向上することを示す。より一般的には、照明は、視野の１％以下と５０％以下の間、視野の１０％以下と４０％以下の間、又は視野の２０％以下と３０％以下の間で合焦され得る。
【００２９】
したがって、本出願人は、標準的なＴｏＦカメラシステムの拡散板を除去することによって不均一照明がシステムによって出射され（すなわち、照度は縁よりも中央で高くなり）、さらに、その改造されたカメラシステムによって、離れた距離（例えば、７メートル以上）においてより高精度な深度情報を得ることが可能となることを見出した。電力及びカメラシステムの出射瞳を通る総光束は変更されないが、被写界におけるピーク照度は増加する。この意味で、一方では視野のカバレッジと他方ではＺ（深度）範囲及び／又は精度との間のトレードオフが達成された。
【００３０】
本出願人は、被写界におけるＸＹ照度の損失を補償するため、撮像されているシーンの周囲に出射光を移動させるのに作動機構が必要となることを発見した。
【００３１】
したがって、本技術は、シーンの３次元表現を生成するための装置を提供し、その装置は、視野を有するマルチピクセルセンサ及び光源を備えるとともにセンサの視野にわたって空間的に不均一な強度を有する照明を出射するように配置されたタイム・オブ・フライト（ＴｏＦ）撮像カメラシステムと、センサの視野の少なくとも一部にわたって、出射された不均一照明を移動させることによって上記表現の生成を可能とするための作動機構とを備える。
【００３２】
ここで図１を参照すると、これは、タイム・オブ・フライト（ＴｏＦ）カメラを用いるシーンの３次元（３Ｄ）表現を生成するための装置１０２又はシステム１００の模式図を示す。例えば、装置１０２は、スマートフォン、モバイルコンピューティングデバイス、ラップトップ、タブレットコンピューティングデバイス、セキュリティシステム、ゲームシステム、拡張現実システム、拡張現実デバイス、ウェアラブルデバイス、ドローン、航空機、宇宙船、車両、自律走行車、ロボットデバイス、家庭用電子機器、ドモティックデバイス及びホームオートメーションデバイスのいずれかであってもよいし、又はそれに含まれてもよい。
【００３３】
装置１０２は、光源１０６を備えるとともに不均一照明を出射するように構成されたタイム・オブ・フライト（ＴｏＦ）カメラ１０４を備える。ＴｏＦカメラ１０４は、視野からの反射光を受光するためのマルチピクセルセンサ又は検出器１０８を備え得る。
【００３４】
不均一照明は、任意の形態の照明であり、任意の適宜の光源１０６によって提供／出射され得る。例えば、光源１０６は、上述の理由のため、不可視光源又は近赤外線（ＮＩＲ）光源であり得る。光源１０６は、少なくとも１つのレーザ、レーザアレイ（例えば、ＶＣＳＥＬアレイ）を備えていてもよいし、少なくとも１つの発光ダイオード（ＬＥＤ）を備えていてもよい。光源１０６によって（又は装置１００全体によって）出射される不均一照明は、任意の形態又は形状を有し得る。例えば、不均一照明は、（例えば、図３(Ａ)の左手側に示すように）円形ビーム形状を有する光ビームであってもよいし、（例えば、図４(Ｂ)の左手側に示すように）光の平行な縞状のパターンからなっていてもよいし、（例えば、図４(Ａ)の左手側に示すように）光のドット又は円の均一又は不均一なパターンからなっていてもよい。これらは単に照明の例示の種類であり、非限定的であることが理解されるはずである。
【００３５】
概略として、本出願人は、２倍の範囲の増加が必要な場合には、信号対ノイズ比を維持するために、遠方界（被写界）では４倍高い照明強度が必要となることを発見した。
【００３６】
装置１０２は、出射された不均一照明をセンサ１０８の視野の少なくとも一部にわたって移動させるための作動機構１１０を備える。作動機構１１０は、装置１０２への組込みのため及び撮像システムにおける使用のための任意の適切な作動機構であり得る。例えば、作動機構１１０は、少なくとも１つのＳＭＡアクチュエータワイヤを備える形状記憶合金（ＳＭＡ）作動システムであり得る。少なくとも１つのＳＭＡアクチュエータワイヤは、出射された不均一照明をシーンの少なくとも一部にわたって移動させるために操作され得る装置１０２の各要素に結合され得る。追加的に又は代替的に、作動機構１１０は、ボイスコイルモータ（ＶＣＭ）又は（電気的に切替可能な空間光変調器を備え得る）不均一照明をステアリングするための適応ビームステアリング機構を備え得る。作動機構１１０は、装置１０２又はＴｏＦカメラ１０４の以下の構成要素：レンズ、プリズム、ミラー、ドットプロジェクタ及び光源１０６、のいずれか１つを移動させることによって、出射された不均一照明を移動させるように構成され得る。
【００３７】
実施形態では、装置１０２は、光源１０６の「前方」、すなわち、光源１０６と被写界／シーンとの間に設けられた少なくとも１つの可動光学要素１１４を備え得る。作動機構１１０は、出射された不均一照明を移動させるために、光学要素１１４をスピン若しくは回転又は移動させるように構成され得る。光学要素１１４は、レンズ、プリズム、ミラー及び回折格子のいずれか１つであり得る。
【００３８】
図５(Ａ)及び５(Ｂ)は、それぞれ、照明がシーンの中央及びシーンの右側に向けられる３Ｄ表現を生成するための装置５００のブロック図を示す。装置５００は、光源５０２（例えば、ＶＣＳＥＬアレイ）を備える。光源５０２によって出射される光は、装置５００から出射されてシーン／被写界５０８に投影される前に、１以上の光学要素５０４（例えば、レンズ、ミラー、回折格子など）を通過し得る。装置５００は、受光レンズ及びフィルタシステム５１０並びに反射光をセンシングするためのマルチピクセルセンサ／検出器５１２を備え得る。光学要素５０４の１以上は、作動機構５０６に結合され得る。作動機構５０６は、それが結合される光学要素５０４を移動させるように構成される。図５(Ａ)は、その中央又はデフォルト位置にある光学要素５０４を示し、それにより、出射された不均一照明はセンサ５１２の視野に対応するシーン５０８の中央に投影される。図５(Ｂ)は、不均一照明をシーン５０８の異なるエリアに移動させるために、どのようにして光学要素５０４の１つが作動機構５０６によって移動され得るのかを示す。図示においては、光学要素５０４を図の左方に移動させることによって、不均一照明がシーン５０８の右側に投影される。したがって、作動機構５０６は、撮像中に照明をシーン５０８における特定の被写体又はエリアに向けてステアリングするのに使用され得るものであり、それにより、画像解像度の向上及び増加がより大きなエリアにわたって達成され得るように、シーン５０６全体を増加した強度で照射する。
【００３９】
図１に戻ると、作動機構１１０は、センサ１０８の視野の少なくとも一部にわたって、出射された不均一照明を走査パターンで移動／ステアリングするのに使用され得る。例えば、図３(Ａ)及び３(Ｂ)は、円形ビームを用いる９点走査パターン及び５点走査パターンをそれぞれ示す。走査パターンは、ラスター走査パターンであり得る。走査パターンは、牛耕式であってもよい。走査パターンの点数を増加させると視野はより均一に照射されることになり、それによって視野全体にわたる解像度の向上が可能となり得ることが図３(Ａ)及び３(Ｂ)から分かる。ただし、走査において点が多くなると、３Ｄ表現を生成するために撮影及び合成されるべきフレームは多くなる。フレームが多いと、フレームの高精度な合成が一層遅くかつ困難となり、フレーム間の解消不能な不一致の機会が多くなる。場合によっては、カバレッジの向上のために視野の角部における照明及び視野の中央付近の良好な解像度を犠牲にすることが許容可能な場合に、図３(Ｂ)に示す走査パターンが好適となり得る。
【００４０】
図３(Ａ)及び３(Ｂ)では、不均一照明は略円形の光ビームであり、それは単にいずれの追加の光学系も有しない光源の遠方界放射パターンであり得る。このタイプの照明の不利な点は、照明がセンサ１０８の全視野にわたって投影されることを保証するのに大きなステアリング角が必要となることであり得る。例えば、６０度の視野について、センサ１０８の視野の略全域（すなわち、３Ｄ表現が生成されるべきシーン）を覆うために、１つの軸（例えば、水平軸）に沿って概ね４０度でステアリングされることが必要となる。これは、光源自体（又は他の何らかの光学要素）を直接移動させることによっては実現するのが困難となることがあり、それは、長い距離を非常に速くかつ非常に頻繁に（例えば、数百万回の繰返しサイクルで）移動させる必要があるものに対して信頼性の高い電気的接続を行うことが困難であるためである。
【００４１】
走査パターンが適用される場合に照明がセンサ１０８の視野の略全域を覆うために照明が移動すべき量を減少させるためには、光のパターンであり又はそれを備える照明が有利となり得る。したがって、ドットプロジェクタ又は回折格子などの光学要素が、被写体空間視野を、ただし低い充填率で、充填するのに使用され得る。これは、明るい照明が視野に投影されることを確実にする一方で、概ね平均間隔の半分を足し引きするように照明が視野にわたって走査パターンで移動される場合に視野全体を照射するのに必要な移動を減少させる。図４(Ａ)は光のドットパターンを用いる６点走査パターンを示し、図４(Ｂ)は縞状の光パターンを用いる３点走査パターンを示す。図４では、走査パターンは、照明を２つの軸、例えば、左右及び上下に沿って移動させることを備える。走査パターンの点数を増加させると、上述のように、照射される視野はより均一となり得る。図４(Ｂ)では、走査パターンは、１つの軸、例えば、左右に沿って又は一方向（例えば、左から右へ）に照明を移動させることを備える。したがって、縞状の照明を有することは有利となり、作動機構は被写体を一方向に移動させるだけでよい。したがって、作動機構によって実施される走査パターンは、出射された不均一照明を視野の少なくとも一部にわたって１つの軸に沿って又は視野の少なくとも一部にわたって２つの軸に沿って移動させることを備え得る。
【００４２】
パターン化された照明（例えば、図４(Ａ)及び４(Ｂ)に示すパターン）に関して、パターンは、規則的であってもよいし、不規則なものであってもよい。これは構造化された光出射器を用いる３Ｄセンシングシステムとは対照的であり、ここでは、投影ドットがそれらの反射に対して一意的に識別かつマッピング可能となるように投影パターンが充分に不規則となることが要件となる。またさらに、構造化された光システムとは対照的に、対象の被写体／撮像されている被写体にＴｏＦシステムの光が高精度に合焦されることは要件とされない。
【００４３】
どのようなタイプの照明が使用されても、作動機構は、出射された不均一照明を視野内の独立した位置に移動させてもよいし、出射された不均一照明を視野の少なくとも一部にわたって連続的に移動させてもよい。これは、ＴｏＦ計測技術が時間に対する照明強度のみに依拠するものであり、シーンのサンプリングのために作動機構が停止する必要がないためである。
【００４４】
ここで、図８(Ａ)〜(Ｅ)を参照して、図１の装置１０２の所定の変形例によって生成され得る光学場の所定の例を説明する。これらの変形例の各々では、装置１０２は、光源１０６として垂直共振器面発光レーザ（ＶＣＳＥＬ）を含む。
【００４５】
図８(Ａ)は、単一の高輝度領域２０１を有する光学場を示す。領域２０１内において、放射照度は、ピーク照明強度で広く一定である。この光学場は、追加の光学構成要素なしにＶＣＳＥＬ１０６のみを用いて実現可能である。簡素なレンズ要素が、領域２０１のサイズを制御し、それにより、ピーク照度の強度及び（所与の距離、例えば、３〜１０メートル以下で）照射されるセンサ１０８の視野２００における比率を制御するのに使用され得る。視野２００を走査するために、領域２０１は、図示するように、比較的大きな角度によってステアリングされなければならない。
【００４６】
図８(Ｂ)は、ＶＣＳＥＬパターン投影に対応するパターン及び複数の高輝度領域２０２を有する光学場を示す。これらの領域２０２の各々内において、放射照度は、概ね一定であり、ピーク照明強度に近い。各領域２０２は、単一のＶＣＳＥＬキャビティから出射される光に対応する。したがって、ＶＣＳＥＬ１０６の設計が、光学場のパターンを決定する。そのようなパターンを生成するために、装置１０２は、ＶＣＳＥＬ１０６の出射面に合焦されるレンズ要素を一般に含まなければならない。これらのレンズ要素は、図１０及び１１を参照して以下に説明するように、ボールレンズ又はマイクロレンズアレイであり得る。パターンは、センサ１０８の視野２００にわたって拡がる。図示するように、視野２００を走査するのに必要なステアリング角は、図８(Ａ)と比較して大幅に減少した。
【００４７】
図８Ｃは、回折光学要素又はビームスプリッタによって分割されたＶＣＳＥＬの投影に対応するパターンを有する光学場を示す。パターンは複数の高輝度領域２０３を含み、その各々内で、放射照度は概ね一定であり、ピーク照明強度に近い。ＶＣＳＥＬパターンの複数の複製の各々内の対応の領域２０３は、ＶＣＳＥＬ１０６内の単一のキャビティから出射される光に対応する。したがって、ＶＣＳＥＬ１０６の設計が、これらの複製の各々内のパターンを決定する。ホログラフィック回折要素などの光学要素が、ＶＣＳＥＬパターンを分割するのに使用される。これは、ＶＣＳＥＬパターンをＭ×Ｎアレイに分割し得る。図示する例では、Ｍ＝２及びＮ＝２である。パターンは、センサ１０８の視野２００にわたって拡がる。図８(Ｂ)（及び同様のＶＣＳＥＬ１０６）と比較して、図示するように、領域数は多くなるので、必要なステアリング角は小さくなる。
【００４８】
図８(Ｄ)は、回折光学要素又はビームスプリッタによって複数のビーム２０４のパターンに分割されたＶＣＳＥＬ１０６（図８(Ａ)参照）からの単一ビームに対応する光学場を示す。特に、光学要素は、入力ビームをＭ×Ｎのアレイの出力ビーム２０４に分割する。本例では、アレイは２×２アレイである。種々の異なるタイプの光学要素が使用され得る。図８(Ｂ)〜(Ｄ)と同様に、パターンは、センサ１０８の視野２００を走査するのに必要なステアリング角を減少させる。
【００４９】
図８Ｅは、適宜の回折光学要素を用いて一連の縞２０５に分割されたＶＣＳＥＬ１０６からの（すなわち、ＶＣＳＥＬキャビティの全てから構成された）単一ビームに対応する光学場を示す。そのようなパターンは、センサ１０８の視野２００を充填するために一方向のみの移動しか必要としない。
【００５０】
図９(Ａ)〜(Ｄ)、１０及び１１は、図１の装置の所定の変形例を示す。これらの変形例の各々において、装置１０２は、光源１０６としてのＶＣＳＥＬ及び一組の１以上の光学要素（以下、光学スタックともいう）を含む。ＶＣＳＥＬ１０６及び光学スタックによって生成される不均一照明のパターンは、小型アクチュエータ、例えば、ＳＭＡベースのアクチュエータに対応する作動機構１１０によってセンサ１０８の視野２００の周囲にステアリングされ得る。光学スタックは、光のコリメーションのためのレンズ要素、光学場制御のための回折光学要素、及び歪を低減して性能を向上する追加のレンズ要素を含み得る。
【００５１】
図９(Ａ)は、ＶＣＳＥＬ１０６及び光学スタック３０１で構成されるサブモジュール３００を小型アクチュエータ１１０がティルトする例を示す。ＶＣＳＥＬ１０６及び光学スタック３０１は、相互に対して固定の位置及び向きを有する。サブモジュール３００を光軸から離れる方向にティルトすることによって、光はステアリングされ得る。ある例では、サブモジュール３００は、光軸から離れる両方向にティルト可能である。
【００５２】
図９(Ｂ)は、光をステアリングするレンズ３１０をシフトするのに小型アクチュエータ１１０が使用される例を示す。光学スタックは、コリメーションレンズ３１１、及びある例では選択的な回折要素も含む。図示する例では、コリメーションレンズ３１１及びシフトレンズ３１０は、別個のものである。ただし、コリメーションレンズ及びシフトレンズは、図１０の例（以下参照）の場合のように、同じレンズ要素であってもよい。光軸に垂直な方向へのシフトレンズ３１０の平行移動によって光のステアリングがもたらされる。
【００５３】
図９Ｃは、光をステアリングするのにミラーシステム３２０が使用される例を示す。図９(Ａ)及び９(Ｂ)に示すように、光学スタックは、選択的レンズ及び回折要素３２１を含み得る。本例では、２つのミラー３２０のシステムは、光をステアリングするのに使用される。ミラーと光軸のなす角を変化させることによって、パターンは、センサ１０８の視野２００を走査することができる。光は、２つの長手方向軸を中心に回転可能な単一の作動ミラーによってステアリングされ得る。あるいは、２つのミラーの各々が単一の軸を中心に回転可能であってもよく、２つのミラーの軸は直交する。他の例では、装置１０２は単一のミラーを有し、ＶＣＳＥＬ１０６は最終的概略方向に対して９０度以下で光を出射し得る。
【００５４】
図９(Ｄ)は、光をステアリングするのにプリズム対３３０が使用される例を示す。ここでも、光学スタックは、選択的なコリメーションレンズ付き回折要素３３１を含み得る。光は、相互と比較して及びＶＣＳＥＬ１０６と比較して、プリズム３３０の相対配向を調整することによってステアリングされ得る。
【００５５】
図１０は、ＶＣＳＥＬ１０６のパターンを遠方界に投影するのにボールレンズ４００が使用される他の例を示す。ボールレンズ４００は、短い後方焦点距離を有するので、ＶＣＳＥＬ１０６の表面の近くに適宜位置決めされる。０．５ｍｍ〜２ｍｍの直径のボールレンズに対する後方焦点距離は、通常、０．３ｍｍ以下である。
【００５６】
パターンの位置は、光が通常出射される方向Ｄに垂直な方向にボールレンズ４００を平行移動することによって制御可能である。短い後方焦点距離は、所与の平行移動に対して達成されるビームステアリングを増加させる。したがって、レンズ４００の位置を制御するのに小型アクチュエータ１０６が容易に使用され得る。
【００５７】
ボールレンズ３００は、光学ガラス、ガラス、プラスチック又は他の光学材料から構築されてもよく、ＶＣＳＥＬ１０６の波長に具体的に同調された反射防止コーティングで被覆され得る。
【００５８】
図１０では、追加の光学構成要素（不図示）も、光学スタックに含まれ得る。例えば、より詳細なパターンを作成するのに回折光学要素が使用されてもよいし、遠方界におけるパターンの歪を低減するのに追加のレンズ要素が付加されてもよい。
【００５９】
図１１は、ＶＣＳＥＬ１０６の付近に配置されたマイクロレンズアレイ４５０を有する例を示す。マイクロレンズアレイ４５０は、遠方界における照明のパターンを生成するのに使用される。マイクロレンズアレイ４５０は、複数のマイクロレンズ４５０ａで構成される。各個々のＶＣＳＥＬキャビティ１０６ａ上にマイクロレンズ４５０ａがある。マイクロレンズ４５０ａは、好ましくは各キャビティ１０６ａからの光をコリメートするように設計される。
【００６０】
遠方界におけるパターンの位置は、光が通常出射される方向に垂直な方向にマイクロレンズアレイ４５０を平行移動することによって制御可能である。各マイクロレンズ４５０ａは非常に短い焦点距離を有し得るので、ここでも比較的小さな変位で比較的大きなステアリング角が達成可能となる。
【００６１】
あるいは、マイクロレンズアレイ４５０はＶＣＳＥＬ１０６に対する固定位置を有していてもよく、装置１０２における他の光学要素が光のパターンをステアリングするように平行移動されてもよい。マイクロレンズアレイ４５０は、作動される場合及び静止している場合の双方において、光学スタックに追加の光学構成要素とともに含まれてもよい。例えば、より詳細なパターンを作成するのに回折光学要素が使用されてもよいし、遠方界におけるパターンの歪を低減するのに追加のレンズ要素が付加されてもよい。
【００６２】
マイクロレンズは、費用対効果の高い小型アレイを生産するようにウエハレベルで製造されてもよい。
【００６３】
標準的なセンサ１０８は、６２度以下×４５度以下の視野を有し得る。ボールレンズ４００を伴う図１０に示す例は、シフト／ストロークの０．０２５度〜０．０７度／μｍのステアリングを達成可能とし得る。マイクロレンズアレイ４５０を伴う図１１に示す例は、同じステアリングに対して大幅に低いストロークしか必要とならないことになる。
【００６４】
実施形態では、照明パターンは視野にわたって不均一となるように選択され得るので、これは特定の視野内の範囲及び解像度の選択的向上を与えることに役立ち得る。例えば、実施形態では、最初の視野の走査が、１以上の対象の被写体又は領域を識別するのに実行され得る。その後、照明は、対象の被写体／領域に集中され得る。図１に戻ると、装置１０２のＴｏＦ撮像カメラ１０４は、視野内の１以上の対象の被写体／領域を識別する最初の視野の走査を実行するように構成され得る。あるいは、別個のカメラ１１２が使用されてもよい。例えば、装置１０２の一部又は別個の光学カメラ１１２が、視野内の１以上の対象の被写体／領域を識別する最初の視野の走査を実行するように構成され得る。ただし、最初の走査が実行されてから、作動機構が、主に視野内の識別された１以上の対象の被写体にわたって、出射された不均一照明を移動させてもよい。
【００６５】
図２は、図１を参照して記載される装置又はシステムを用いてシーンの３Ｄ表現を生成するための例示のステップのフローチャートを示す。方法は、ステップＳ２０４において、装置のタイム・オブ・フライト（ＴｏＦ）撮像カメラシステムを用いて、不均一照明をシーン／センサの視野に出射することによって開始する（ステップＳ２０４）。方法は、装置の作動機構を用いて、センサの視野に対してかつその少なくとも一部にわたって、出射された不均一照明を移動させるステップを備える（ステップＳ２０６）。センサ／検出器は反射光を受光し（ステップＳ２０８）、飛行時間（すなわち、光の出射と反射の受光までに要する時間）が用いられて視野内の被写体の深度を特定する（ステップＳ２１０）。ステップＳ２１２において、処理は、３Ｄ表現を生成するために全ての露光／フレームが取得されたかを確認する。取得されていない場合、処理は、ステップＳ２０６に戻る。取得された場合、露光／フレームが合成されて３Ｄ表現を生成する（ステップＳ２１４）。
【００６６】
選択的に、方法は、視野の最初の走査を実行し（ステップＳ２００）、視野内の１以上の対象の被写体（又は領域）を識別すること（ステップＳ２０２）によって開始してもよい。この場合、不均一照明を移動するステップ（ステップＳ２０６）は、視野内の少なくとも識別された１以上の対象の被写体にわたって、出射された不均一照明を移動させるステップを含んでいてもよい。
【００６７】
実施形態では、出射された不均一照明が、視野内の対象の領域又は被写体及び受光／検出反射光の強度又は信号対ノイズ比の双方に基づいて移動され得る。例えば、非常に少量の光がセンサ／検出器によって検出された場合、システムは、対象の被写体／領域が遠すぎることを判定することができるので、照明を新たな位置に移動することができる。同様に、反射光の強度が非常に高い場合には、照明が（視野の他の被写体／領域についての情報を撮影するように）比較的速く新たな位置に移動可能となる態様で、視野についての充分な情報が比較的速く収集され得る一方で、反射光の強度が低い場合、充分な情報が収集されて信頼性の高い３Ｄ表現を生成することを可能とするように照明は適所により長く保持される必要があり得る。したがって、実施形態では、作動機構は、検知された反射光の強度及び／又は信号対ノイズ比に応じて、出射された不均一照明を移動させ得る。
【００６８】
上述の実施形態の多数の他の変形例があり得ることが分かるはずである。
【００６９】
例えば、光学要素は、レンズ、プリズム、ミラー及び回折格子のいずれか１つであり得る。
【００７０】
作動機構は、ボイスコイルモータ（ＶＣＭ）を含み得る。
【００７１】
作動機構は、レンズ、プリズム、ミラー、ドットプロジェクタ及び光源のいずれか１つを移動させることによって出射照明を移動させるように構成され得る。
【００７２】
装置は光源とシーンの間に配置された光学要素を備えていてもよく、作動機構は光学要素をスピン又は回転させるように構成され得る。
【００７３】
センサの視野への言及は、センサ及び任意の関連の光学要素の視野をいうこともある。
【図１】
2021533488.tif 000003
【図２】
2021533488.tif 000004
【図３】
2021533488.tif 000005
【図４】
2021533488.tif 000006
【図５】
2021533488.tif 000007
【図６】
2021533488.tif 000008
【図７】
2021533488.tif 000009
【図８】
2021533488.tif 000010
【図９】
2021533488.tif 000011
【図１０】
2021533488.tif 000012
【図１１】
2021533488.tif 000013
【国際調査報告】
2021533488.tif 000014
2021533488.tif 000015
2021533488.tif 000016
2021533488.tif 000017