(57)【要約】  構造化照明レーザーシステムを制御するためのシステムおよび方法が開示される。一態様は、構造化照明システムである。本システムは、深度マップを記憶するように構成されるメモリデバイスを含む。本システムは、コードワードを投影するように構成されるレーザーシステムを含む画像投影デバイスをさらに含む。本システムは、センサを含むレシーバデバイスをさらに含み、レシーバデバイスは、物体から反射された投影コードワードを感知するように構成される。本システムは、深度マップの一部分を取り出し、深度マップから予想コードワードを計算するように構成される処理回路をさらに含む。本システムは、感知コードワードおよび予想コードワードに基づいてレーザーシステムの出力パワーを制御するように構成されるフィードバックシステムをさらに含む。
2018525636.tif 000002
【特許請求の範囲】
【請求項１】
構造化照明システムであって、
深度マップを記憶するように構成されるメモリデバイスと、
コードワードを投影するように構成されるレーザーシステムを含む画像投影デバイスと、
センサを含むレシーバデバイスであって、物体から反射された前記投影コードワードを感知するように構成されるレシーバデバイスと、
前記メモリデバイスに記憶された前記深度マップの少なくとも一部分を取り出し、かつ前記深度マップから予想コードワードを計算するように構成される処理回路と、
前記感知コードワードおよび前記予想コードワードに基づいて前記レーザーシステムの出力パワーを制御するように構成されるフィードバックシステムと
を備える、構造化照明システム。
【請求項２】
前記処理回路が、前記感知コードワードに基づいて前記深度マップを更新するようにさらに構成され、前記メモリデバイスが、前記更新された深度マップを記憶するようにさらに構成される、請求項1に記載の構造化照明システム。
【請求項３】
前記フィードバックシステムが、前記感知コードワードを前記予想コードワードと比較して、コード領域統計値を決定するように構成され、前記フィードバックシステムが、前記決定されたコード領域統計値に少なくとも部分的に基づいて前記レーザーシステムの前記出力パワーを制御する、請求項2に記載の構造化照明システム。
【請求項４】
前記コード領域統計値がシンボル分類確度を数量化する、請求項3に記載の構造化照明システム。
【請求項５】
前記コード領域統計値が、強度平均値の差の2乗を強度分散の和で除算したものである、請求項4に記載の構造化照明システム。
【請求項６】
前記処理回路が、前記深度マップおよび/または前に受信されたコードワードから予想シンボルを計算するようにさらに構成され、前記処理回路が、各受信強度値を前記対応する予想シンボルに割り当てるようにさらに構成され、前記処理回路が、シンボルごとに平均強度値を計算するようにさらに構成され、前記処理回路が、シンボルごとに分散強度値を計算するようにさらに構成され、前記処理回路が、強度平均値の差の2乗を強度分散の和で除算したものとして前記コード領域統計値を計算するようにさらに構成される、請求項5に記載の構造化照明システム。
【請求項７】
前記コード領域統計値がコードワード検出確度を数量化する、請求項3に記載の構造化照明システム。
【請求項８】
前記コード領域統計値が、予想コードワードに整合する受信コードワードのパーセントである、請求項7に記載の構造化照明システム。
【請求項９】
前記処理回路が、受信コードワードを予想コードワードと比較するようにさらに構成され、前記処理回路が、正しく受信されたコードワードのパーセンテージを計算するようにさらに構成され、正しく受信されたコードワードが予想コードワードに対応する、請求項8に記載の構造化照明システム。
【請求項１０】
前記コード領域統計値が基底関数確度を数量化する、請求項3に記載の構造化照明システム。
【請求項１１】
前記コード領域統計値が、予想基底関数に整合する受信基底関数のパーセントである、請求項10に記載の構造化照明システム。
【請求項１２】
前記処理回路が、前記深度マップおよび/または前に受信されたコードワードから予想基底関数を計算するようにさらに構成され、前記処理回路が、受信基底関数を予想基底関数と比較するようにさらに構成され、前記処理回路が、正しく受信された基底関数のパーセンテージを計算するようにさらに構成され、正しく受信された基底関数が予想基底関数に対応する、請求項11に記載の構造化照明システム。
【請求項１３】
前記フィードバックシステムが、前記コード領域統計値に対する最大値に収束するように前記レーザーシステムの出力パワーを反復的に制御するように構成される、請求項3に記載の構造化照明システム。
【請求項１４】
構造化照明システムにおいてレーザーパワーを制御する方法であって、
メモリデバイスを用いて深度マップを記憶するステップと、
レーザーシステムを用いてコードワードを投影するステップと、
レシーバセンサを用いて物体から反射された前記投影コードワードを感知するステップと、
前記メモリデバイスから前記深度マップの一部分を取り出すステップと、
前記深度マップから予想コードワードを計算するステップと、
前記感知コードワードおよび前記予想コードワードに基づいて前記レーザーシステムの出力パワーを制御するステップと
を備える、方法。
【請求項１５】
前記感知コードワードに基づいて前記深度マップを更新するステップと、
前記メモリデバイスを用いて前記更新された深度マップを記憶するステップと
をさらに備える、請求項14に記載の方法。
【請求項１６】
前記感知コードワードを前記予想コードワードと比較して、コード領域統計値を決定するステップと、
前記決定されたコード領域統計値に少なくとも部分的に基づいて前記レーザーシステムの出力パワーを制御するステップと
をさらに備える、請求項14に記載の方法。
【請求項１７】
前記コード領域統計値がシンボル分類確度を数量化する、請求項16に記載の方法。
【請求項１８】
前記コード領域統計値が、強度平均値の差の2乗を強度分散の和で除算したものである、請求項17に記載の方法。
【請求項１９】
前記深度マップおよび/または前に受信されたコードワードから予想シンボルを計算するステップと、
各受信強度値を前記対応する予想シンボルに割り当てるステップと、
シンボルごとに平均強度値を計算するステップと、
シンボルごとに分散強度値を計算するステップと、
強度平均値の差の2乗を前記強度分散の和で除算したものとして前記コード領域統計値を計算するステップと
をさらに備える、請求項18に記載の方法。
【請求項２０】
前記コード領域統計値がコードワード検出確度を数量化する、請求項16に記載の方法。
【請求項２１】
前記コード領域統計値が、予想コードワードに整合する受信コードワードのパーセントである、請求項20に記載の方法。
【請求項２２】
受信コードワードを予想コードワードと比較するステップと、
正しく受信されたコードワードのパーセンテージを計算するステップであって、正しく受信されたコードワードが予想コードワードに対応する、ステップと
をさらに備える、請求項21に記載の方法。
【請求項２３】
前記コード領域統計値が基底関数確度を数量化する、請求項16に記載の方法。
【請求項２４】
前記コード領域統計値が、予想基底関数に整合する受信基底関数のパーセンテージである、請求項23に記載の方法。
【請求項２５】
前記深度マップおよび/または前に受信されたコードワードから予想基底関数を計算するステップと、
受信基底関数を予想基底関数と比較するステップと、
正しく受信された基底関数のパーセンテージを計算するステップであって、正しく受信された基底関数が予想基底関数に対応する、ステップと
をさらに備える、請求項24に記載の方法。
【請求項２６】
前記コード領域統計値に対する最大値に収束するように前記レーザーシステムの出力パワーを反復的に制御するステップをさらに備える、請求項16に記載の方法。
【請求項２７】
構造化照明システムであって、
深度マップを記憶するための手段と、
コードワードを投影するための手段と、
物体から反射された前記投影コードワードを感知するための手段と、
深度マップを前記記憶するための手段から前記深度マップの一部分を取り出すための手段と、
前記深度マップから予想コードワードを計算するための手段と、
前記感知コードワードと前記予想コードワードとの間の比較に基づいて、前記投影手段の出力パワーを制御するための手段と
を備える、構造化照明システム。
【請求項２８】
前記記憶手段がメモリデバイスを備え、前記投影手段がレーザーシステムを備え、前記感知手段がレシーバセンサを備え、前記取出し手段が処理回路を備え、前記計算手段が前記処理回路を備え、前記制御手段がフィードバックシステムを備える、請求項27に記載の構造化照明システム。
【請求項２９】
前記感知コードワードを前記予想コードワードと比較して、コード領域統計値を決定するための手段と、
前記決定されたコード領域統計値に少なくとも部分的に基づいて前記レーザーシステムの出力パワーを制御するための手段と
をさらに備える、請求項27に記載の構造化照明システム。
【請求項３０】
実行されたとき、構造化照明システムのレーザーシステムの出力パワーを制御する方法をプロセッサに実行させる命令を記憶する、非一時的コンピュータ可読記録媒体であって、前記方法が、
メモリデバイスを用いて深度マップを記憶するステップと、
前記レーザーシステムを用いてコードワードを投影するステップと、
レシーバセンサを用いて物体から反射された前記投影コードワードを感知するステップと、
前記メモリデバイスから前記深度マップの一部分を取り出すステップと、
前記深度マップから予想コードワードを計算するステップと、
前記感知コードワードおよび前記予想コードワードに基づいて前記レーザーシステムの出力パワーを制御するステップと
を備える、非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
様々な特徴は、アクティブ深度感知に関し、より詳細には、コード領域統計値を使用して構造化照明コードワードトランスミッタの出力パワーを制御することに関する。
【背景技術】
【０００２】
構造化照明アクティブ感知システムであるイメージングデバイスは、シーンの中の1つまたは複数の物体のイメージングデバイスからの距離を示す深度マップを生成するために、空間コード(または、「コードワード」)に対応するパターンを送信および受信するように構成されるトランスミッタおよびレシーバを含む。シーンの中の物体がトランスミッタおよびレシーバから遠ければ遠いほど、出射コードワードおよび反射された入射コードワードの伝搬経路がより平行になるので、物体から反射される受信コードワードは(送信コードワードと比較して)その元の位置から近くなる。反対に、物体がトランスミッタおよびレシーバに近ければ近いほど、受信コードワードは送信コードワードにおけるその元の位置から遠くなる。したがって、シーンの中の物体の深度を決定するために、受信コードワードの位置と対応する送信コードワードの位置との間の差分が使用されてよい。構造化照明アクティブ感知システムは、決定されたこれらの深度を使用してシーンの深度マップを生成してよく、シーンの深度マップは、シーンの3次元表現であってよい。画像品質向上およびコンピュータビジョン技法を含む多くの適用例が、シーンの深度マップを決定することから恩恵を受けることがある。
【０００３】
各コードワードは、シンボルに対応する強度値の行および列によって表されてよい。たとえば、バイナリ空間コードは、バイナリパターンを表すために、暗い強度値および明るい強度値に対応する0および1を使用してよい。他の空間コードは、3つ以上のシンボルに対応する3つ以上の異なる強度値を使用してよい。他の空間表現も使用されてよい。
【０００４】
深度マップを生成することは、コードワードを検出することに依存する。シンボルのアレイから構成されるコードワードを検出するために、復号フィルタは、コードワードおよびシンボルにとっての空間境界を識別してよく、シンボルをそれらの強度値に基づいて、たとえば、"0"または"1"として分類してよい。復号フィルタは、可能なコードワードのセットを定義するために使用される調和基底関数のセットに対応するマッチドフィルタを使用して入射基底関数を分類してよい。したがって、深度マップ確度は、シンボル、コードワード、および/または基底関数を正確に受信することに依存する。
【０００５】
パターンを投影するために使用される光源(たとえば、レーザー)のパワーレベルが低すぎる場合、明るい方のシンボルに対応するスポットが、暗い方のシンボルと区別されるには暗すぎることがある。光源のパワーレベルが高すぎる場合、明るい方のシンボルに対応するスポットは、飽和することがあり、隣接するスポットの中ににじむ(隣接するスポットと混ざる)ことがある。これが起こると、シンボル、コードワード、および基底関数を正確に分類するのが困難なことがある。最適パワーレベル範囲は、物体深度および表面反射率に少なくとも部分的に依存してよい。最適パワーレベルは、シーン内およびシーン間の両方で変わることがある。
【０００６】
光源パワーを制御するための既存の方法およびシステムは、局所的な変動を考慮しないことがあり、シンボル、コードワード、または基底関数の確度を最大化するのに最適化されていないことがある。したがって、より正確な深度マップ生成のために、構造化照明システム用の光源パワーを制御するための方法およびシステムが必要である。
【発明の概要】
【課題を解決するための手段】
【０００７】
本開示のサンプルとしての態様の概要は以下のとおりである。便宜上、本開示の1つまたは複数の態様は、単に「いくつかの態様」と本明細書で呼ばれることがある。
【０００８】
本明細書で開示されている方法および装置またはデバイスは各々、いくつかの態様を有し、それらのうちの単一のものがその望ましい属性を単独で担うわけではない。たとえば、以下の特許請求の範囲によって表現されるような本開示の範囲を限定することなく、そのより顕著な特徴がここで簡単に説明される。この説明を考察した後、また特に「発明を実施するための形態」と題するセクションを読んだ後、説明されている特徴が、コード領域統計値を使用して構造化照明コードワードトランスミッタの出力パワーを制御するための効率的な方法を含む利点をどのように提供し、結果として復号エラーがより少なくなることが理解される。
【０００９】
1つの発明は、構造化照明システムである。構造化照明システムは、深度マップを記憶するように構成されるメモリデバイスを含んでよい。構造化照明システムは、コードワードを投影するように構成されるレーザーシステムを含む画像投影デバイスをさらに含んでよい。構造化照明システムは、センサを含むレシーバデバイスをさらに含んでよく、レシーバデバイスは、物体から反射された投影コードワードを感知するように構成される。構造化照明システムは、メモリデバイスに記憶された深度マップの少なくとも一部分を取り出し、深度マップから予想コードワードを計算するように構成される処理回路をさらに含んでよい。構造化照明システムは、感知コードワードおよび予想コードワードに基づいてレーザーシステムの出力パワーを制御するように構成されるフィードバックシステムをさらに含んでよい。
【００１０】
いくつかの実装形態の場合、処理回路は、感知コードワードに基づいて深度マップを更新するようにさらに構成される。いくつかの実装形態の場合、メモリデバイスは、更新された深度マップを記憶するようにさらに構成される。
【００１１】
いくつかの実装形態の場合、フィードバックシステムは、感知コードワードを予想コードワードと比較して、コード領域統計値を決定するように構成される。いくつかの実装形態の場合、フィードバックシステムは、決定されたコード領域統計値に少なくとも部分的に基づいてレーザーシステムの出力を制御する。いくつかの実装形態の場合、コード領域統計値はシンボル分類確度を数量化する。いくつかの実装形態の場合、コード領域統計値は、強度平均値の差の2乗を強度分散の和で除算したものである。
【００１２】
いくつかの実装形態の場合、処理回路は、深度マップおよび/または前に受信されたコードワードから予想受信シンボルを計算するようにさらに構成される。いくつかの実装形態の場合、処理回路は、各受信強度値を対応する予想受信シンボルに割り当てるようにさらに構成される。いくつかの実装形態の場合、処理回路は、シンボルごとに平均強度値を計算するようにさらに構成される。いくつかの実装形態の場合、処理回路は、シンボルごとに分散強度値を計算するようにさらに構成される。いくつかの実装形態の場合、処理回路は、強度平均値の差の2乗を強度分散の和で除算したものとしてコード領域統計値を計算するようにさらに構成される。
【００１３】
いくつかの実装形態の場合、コード領域統計値はコードワード検出確度を数量化する。いくつかの実装形態の場合、コード領域統計値は、予想コードワードに整合する受信コードワードのパーセンテージである。
【００１４】
いくつかの実装形態の場合、処理回路は、受信コードワードを予想コードワードと比較するようにさらに構成される。いくつかの実装形態の場合、処理回路は、正しく受信されたコードワードのパーセンテージを計算するようにさらに構成される。いくつかの実装形態の場合、正しく受信されたコードワードは予想コードワードに対応する。
【００１５】
いくつかの実装形態の場合、コード領域統計値は基底関数確度を数量化する。いくつかの実装形態の場合、コード領域統計値は、予想基底関数に整合する受信基底関数のパーセンテージである。
【００１６】
いくつかの実装形態の場合、処理回路は、深度マップおよび/または前に受信されたコードワードから予想基底関数を計算するように構成される。いくつかの実装形態の場合、処理回路は、受信基底関数を予想基底関数と比較するように構成される。いくつかの実装形態の場合、処理回路は、正しく受信された基底関数のパーセンテージを計算するようにさらに構成される。いくつかの実装形態の場合、正しく受信された基底関数は予想基底関数に対応する。
【００１７】
いくつかの実装形態の場合、フィードバックシステムは、コード領域統計値に対する最大値に収束するようにレーザーシステムの出力パワーを反復的に制御する。
【００１８】
別の発明は、構造化照明システムにおいてレーザーパワーを制御する方法である。本方法は、メモリデバイスを用いて深度マップを記憶するステップを含んでよい。本方法は、レーザーシステムを用いてコードワードを投影するステップを含んでよい。本方法は、物体から反射された投影コードワードをレシーバセンサを用いて感知するステップを含んでよい。本方法は、メモリデバイスから深度マップの一部分を取り出すステップを含んでよい。本方法は、深度マップから予想コードワードを計算するステップを含んでよい。本方法は、感知コードワードおよび予想コードワードに基づいてレーザーシステムの出力パワーを制御するステップを含んでよい。
【００１９】
様々な実施形態では、本方法は、感知コードワードに基づいて深度マップを更新するステップをさらに含んでよい。様々な実施形態では、本方法は、メモリデバイスを用いて更新された深度マップを記憶するステップをさらに含んでよい。
【００２０】
様々な実施形態では、本方法は、感知コードワードを予想コードワードと比較して、コード領域統計値を決定するステップをさらに含んでよい。様々な実施形態では、本方法は、決定されたコード領域統計値に少なくとも部分的に基づいてレーザーシステムの出力パワーを制御するステップをさらに含んでよい。
【００２１】
様々な実施形態では、本方法は、深度マップおよび/または前に受信されたコードワードから予想受信シンボルを計算するステップをさらに含んでよい。様々な実施形態では、本方法は、各受信強度値を対応する予想受信シンボルに割り当てるステップをさらに含んでよい。様々な実施形態では、本方法は、シンボルごとに平均強度値を計算するステップをさらに含んでよい。様々な実施形態では、本方法は、シンボルごとに分散強度値を計算するステップをさらに含んでよい。様々な実施形態では、本方法は、強度平均値の差の2乗を強度分散の和で除算したものとしてコード領域統計値を計算するステップをさらに含んでよい。
【００２２】
様々な実施形態では、本方法は、受信コードワードを予想コードワードと比較するステップをさらに含んでよい。様々な実施形態では、本方法は、正しく受信されたコードワードのパーセンテージを計算するステップをさらに含んでよく、正しく受信されたコードワードは予想コードワードに対応する。
【００２３】
様々な実施形態では、本方法は、深度マップおよび/または前に受信されたコードワードから予想基底関数を計算するステップをさらに含んでよい。様々な実施形態では、本方法は、受信基底関数を予想基底関数と比較するステップをさらに含んでよい。様々な実施形態では、本方法は、正しく受信された基底関数のパーセンテージを計算するステップをさらに含んでよく、正しく受信された基底関数は予想基底関数に対応する。
【００２４】
様々な実施形態では、本方法は、コード領域統計値に対する最大値に収束するようにレーザーシステムの出力パワーを反復的に制御するステップをさらに含んでよい。
【００２５】
別の発明は、構造化照明システムである。構造化照明システムは、深度マップを記憶するための手段を含んでよい。構造化照明システムは、コードワードを投影するための手段を含んでよい。構造化照明システムは、物体から反射された投影コードワードを感知するための手段を含んでよい。構造化照明システムは、深度マップを記憶するための手段から深度マップの一部分を取り出すための手段を含んでよい。構造化照明システムは、深度マップから予想コードワードを計算するための手段を含んでよい。構造化照明システムは、感知コードワードと予想コードワードとの間の比較に基づいて、投影手段の出力パワーを制御するための手段を含んでよい。
【００２６】
様々な実施形態では、記憶手段はメモリデバイスを含んでよい。様々な実施形態では、投影手段はレーザーシステムを含んでよい。様々な実施形態では、感知手段はレシーバセンサを含む。様々な実施形態では、取出し手段は処理回路を含む。様々な実施形態では、計算手段は処理回路を含む。様々な実施形態では、制御手段はフィードバックシステムを含む。
【００２７】
様々な実施形態では、構造化照明システムは、感知コードワードを予想コードワードと比較して、コード領域統計値を決定するための手段をさらに含む。様々な実施形態では、構造化照明システムは、決定されたコード領域統計値に少なくとも部分的に基づいてレーザーシステムの出力パワーを制御するための手段をさらに含む。
【００２８】
別の発明は、実行されたとき、方法をプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体である。本方法は、メモリデバイスを用いて深度マップを記憶するステップを含んでよい。本方法は、レーザーシステムを用いてコードワードを投影するステップを含んでよい。本方法は、物体から反射された投影コードワードをレシーバセンサを用いて感知するステップを含んでよい。本方法は、メモリデバイスから深度マップの一部分を取り出すステップを含んでよい。本方法は、深度マップから予想コードワードを計算するステップを含んでよい。本方法は、感知コードワードおよび予想コードワードに基づいてレーザーシステムの出力パワーを制御するステップを含んでよい。
【００２９】
様々な特徴、態様、および利点は、本明細書での説明および本明細書に添付の図面から明らかになり、同様の参照符号は、概して、図面に示された対応する態様または構成要素を識別する。当業者が理解するように、別段に明記されていない限り、一実施形態に対して説明または図示される態様は、そのような実施形態の実装または機能にとって非実用的でない場合、説明または図示される1つまたは複数の他の実施形態の中に含まれてよい。
【図面の簡単な説明】
【００３０】
【図１】シーンを照明するとともに2次元(2D)画像および/または情報からそれを用いて3次元(3D)情報を生成する深度情報を取得するために既知のパターンが使用される、アクティブ感知システムの一例を示す概略図である。
【図２】2D画像または情報から3Dシーンが構築される、アクティブ感知用システムの別の例を示す図である。
【図３】物体またはシーンに対してどのように深度が感知されてよいのかを示す概略図である。
【図４】複合コードマスクを生成しかつ/またはそのような複合コードマスクを投影するように構成されてよいトランスミッタデバイスの一例を示すブロック図である。
【図５】複合コードマスクから深度情報を取得するように構成されてよいレシーバデバイスの一例を示すブロック図である。
【図６】本明細書で開示する誤り訂正方法のうちの1つまたは複数を実行するように構成される装置の一実施形態のブロック図である。
【図７】明るいスポットおよび暗いスポットに対応するシンボルのアレイを有するコードマスクの一例を示す写真である。
【図８】図7のコードマスクなどのコードマスクを通してレーザーによって投影されるコードワードが重畳された深度マップを生成するために使用されるシーンの画像を示す写真である。
【図９】図8のシーンに対する深度マップの一例を示す図である。
【図１０】最適パワーレベルで照明されるコードワードの一例を示す図である。コードワードは、図7のコードマスクにおいて符号化されたシンボルに対応する"0"シンボルまたは"1"シンボルの4×4アレイを含み、シンボルは、十分に画定された境界、および"0"シンボルと"1"シンボルとの間の強度値の明瞭な分離を有する。
【図１１】図10において説明するような最適レーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対する強度値の十分に分離された確率分布関数の一例を示す図である。
【図１２】図10の、ただし明るいスポットが図10ほど明るくないような、図10よりも低いパワーレベルで照明されるコードワードの一例を示す図である。
【図１３】図12を参照しながら説明するような最適を下回るパワーレベルで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す図である。
【図１４】図10の、ただし明るいスポットが飽和しており、互いの中ににじみ、いくつかの暗いスポットを明るく見えさせるような、図10よりも高いパワーレベルで照明されるコードワードの一例を示す図である。
【図１５】図14において説明するような最適を上回るレーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す図である。
【図１６】パワーレベルの関数としてのコントラスト、すなわち2つのシンボル間の分離のグラフの一例を示す図である。
【図１７】例示的な一実施形態において、3つの異なるパワー設定で取られた構造化照明画像を示す図である。
【図１８】構造化照明システムにおけるレシーバによって感知されるとき、暗すぎて感知および区別されないことも明るすぎて飽和しないこともないコードワードを投影するために、構造化照明システムにおいてレーザーを制御するために使用できるフィードバック制御システムの一例を示す図である。
【図１９】既存の深度マップ情報およびコードワードの感知された反射画像に基づいて、コード領域統計値を使用して構造化照明トランスミッタのパワーを調整するためのプロセス1900の一例を示す図である。
【図２０】コード領域統計値の計算を含む、物体から反射される受信コードワードから決定された情報を使用して構造化照明トランスミッタのパワーを制御するためのプロセス2000の一例を示す図である。
【図２１】コード領域統計値が、強度平均値の差の2乗を強度分散の和で除算したものが尺度となるようなシンボル間のコントラストである、プロセス2000のコード領域統計値を計算するためのプロセス2100の一例を示す図である。
【図２２】コード領域統計値が、予想コードワードに整合する受信コードワードのパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2200の一例を示す図である。
【図２３】コード領域統計値が、予想基底関数に整合する受信基底関数のパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2300の一例を示す図である。
【発明を実施するための形態】
【００３１】
以下の発明を実施するための形態は、いくつかの特定の実施形態を対象とする。しかしながら、開示する方法およびシステムは、多数の様々な方法で具現化することができる。本明細書の態様が多種多様な形態で具現化されてよいこと、および本明細書で開示されている任意の特定の構造、機能、または両方が代表的なものにすぎないことは明らかであろう。本明細書で開示する態様は、任意の他の態様とは独立に実施されてよい。これらの態様のうちの2つ以上が、様々な方法で組み合わせられてよい。たとえば、本明細書に記載する任意の数の態様を使用して本装置が実装されてよく、または方法が実践されてよい。加えて、本明細書に記載する態様のうちの1つまたは複数に加えて、あるいは本明細書に記載する態様のうちの1つまたは複数以外の他の構造、機能、または構造および機能を使用してそのような装置が実装されてよく、またはそのような方法が実践されてよい。
【００３２】
さらに、本明細書で説明するシステムおよび方法は、様々な異なるイメージングシステムならびにコンピューティングデバイスおよびコンピューティングシステムにおいて実施されてよい。それらは汎用システムまたは専用システムを使用してよい。
【００３３】
構造化照明システムは、コードワードの受信パターンを復号すること、およびそれらを送信パターンと比較することによって深度マップを生成する。受信シンボルおよび受信コードワードが、異なるシンボル値に対して十分に画定された空間境界および十分に分離された強度レベルを有する場合、受信パターンを正確に復号し正確な深度マップを生成することが可能である。シンボル境界が十分に画定されておらず、かつ/または強度レベルが十分に分離されていない場合、検出確度が下がり、深度マップ確度が悪化する。
【００３４】
構造化照明システムは、制御可能なパワーレベルでマスクを通して光を発することにより、コードワードのパターンを送信する。いくつかの実施形態では、光源は(別のタイプの光源であってもよいが)レーザーであり、マスクは回折性光学要素である。光源のパワーレベルが低すぎると、シンボルは、正確に受信され正しく復号されるには暗すぎることがある。光源のより高いパワーレベルにおいて、送信シンボルは、それらの境界が十分に画成され、パワーが増大し、強度によって十分に分離されるので、復号される可能性が高くなることができる。たとえば、"0"シンボルは暗く見え、"1"シンボルは淡く見え、暗いシンボルと淡いシンボルとの間に大きい強度ギャップがある。光源のパワーレベルが高すぎる場合、シンボルは、シンボルの所期の境界を越えてガードバンドの中に、また隣接するシンボルの中にさえ、にじむように見えることがある。したがって、光源のパワーレベルが高すぎると、シンボルが互いに混ざることがあるのでシンボル境界が不明瞭になることがあり、受信シンボルが、投影されたものとは著しく異なって見えることがあり、検出確度を下げることがある。任意の特定のシーンにおいて、異なる距離における、かつ/または異なる表面特性を有する物体は、正確な復号のために異なるレーザーパワーレベルを必要とすることがある。
【００３５】
開示する技術は、受信画像が正確に復号できるように光源パワーレベルを制御するためのシステムおよび方法を含む。たとえば、異なるシンボル値の間のコントラストすなわち分離を数量化すること、コードワード検出確度を数量化すること、または基底関数検出確度を数量化することによって、受信画像がどれほど効果的に復号できるのかを特徴づけるために、コード領域統計値が使用される。これらの尺度は、復号確度を直接特徴づけ、コード領域統計値をレーザーコントローラに(たとえば、負帰還ループを介して、または適応アルゴリズムを使用して)フィードバックすることによって最適レーザーパワーレベルへの制御収束を可能にする。その結果、得られた深度マップは、より少ない復号エラーしか有しなくてよく、したがって、より正確であってよい。
【００３６】
図1は、2次元画像から深度マップ107などの3次元情報を生成するアクティブ感知システム100の一例を示す。アクティブ感知システム100は、トランスミッタ102およびレシーバ108を含む。トランスミッタ102は、コードマスクを通して光を投影して投影画像104を形成する。投影画像104の部分112は、シーン106の上に投影される固有コードワード120を含む。シーン106の中の物体の表面は、空間パターン116によって照明され、空間パターン116は、レシーバ108によって感知される反射画像の一部を形成する。レシーバ108は、固有コードワード120を含む反射画像110の一部分118(セグメント)を感知し、図3に関して以下で説明するように、シーン106の中の物体の表面の深度マップ107を生成するために、固有コードワード120の相対位置をコードマスクの中の他の固有コードワードと比較して、深度情報を決定する。レシーバ108は、反射画像110の他のセグメントから他の識別可能なコードワードを反射する、シーンの中の物体の表面にわたって、深度推定値に基づいて深度マップ107を形成する。取り込まれる各セグメント118は、レシーバ108、およびコーディングされたマスクの既知のパターンから確認された他のセグメントに対するそのロケーションにおいて、一意に識別可能であってよい。レシーバ108は、ひずみに対処するためのパターンセグメント化技法、コードを識別するための復号技法、ならびに配向および/または深度を確認するための三角測量を使用してよい。
【００３７】
図2は、深度マップを生成するとともにシーンの3次元表現を表示するためのアクティブ感知のためのシステムの別の例を示す。エンコーダ/整形変調器201は、コードマスクを生成してよく、コードマスクは、次いで、トランスミッタデバイス202によって送信チャネル204を介して投影される。コードマスクは、ターゲット(たとえば、シーン)の上に投影されてよく、反射光は、投影コードマスク画像としてレシーバセンサ205によって取り込まれる。レシーバセンサ205(たとえば、図1におけるレシーバ108)は、ターゲットの反射画像を取り込み、それをセグメント化/デコーダ206がセグメント化および復号して、深度マップ208を生成するために使用される深度情報を決定する。深度マップ208は、次いで、ターゲット、たとえば、ターゲット210a〜eのうちの1つの3D画像バージョンを提示、生成、および/または提供するために使用されてよい。
【００３８】
アクティブ感知は、トランスミッタデバイス202によってシーン上に投影されているコードマスクから空間コード(たとえば、コードワード)を(レシーバセンサ205および/またはセグメント化/デコーダ206において)認識できることに依拠する。シーンがトランスミッタおよびレシーバに近すぎる場合、シーンの表面は角をなすか、または曲げられることがあり、ベースライン基準面が傾斜されることがあり、コードは未知のアフィン変換(たとえば、回転、傾斜、圧縮、伸張など)の下で変形されることがある。本明細書で説明する1つまたは複数の態様または特徴は、図1および図2の例示的な環境内で実施されてよい。
【００３９】
図3は、シーンの中の1つまたは複数の物体に対してどのように深度が感知されてよいのかという一例を示す。図3は、トランスミッタ302およびレシーバ304を含むデバイス300を示す。デバイスは、コードワード投影310としてトランスミッタ302から発せられた構造化照明を用いて2つの物体306および308を照明している。コードワード投影310は、物体306および/または308から反射し、センサ平面307上のレシーバ304によって反射コードワード311として受信される。
【００４０】
図3に示すように、トランスミッタ302は、レシーバ304と同じ基準面(たとえば、レンズ平面305)の上にある。トランスミッタ302は、開口313を通して物体306および308の上にコードワード投影310を投影する。
【００４１】
コードワード投影310は、投影セグメント312'としての物体306を照明し、投影セグメント312''としての物体308を照明する。投影セグメント312'および312''がレシーバ開口315を通してレシーバ304によって受信されると、反射コードワード311は、物体308から生成された反射を第1の距離d1において示してよく、物体306から生成された反射を第2の距離d2において示してよい。
【００４２】
図3によって示されるように、物体306がトランスミッタ302により近く位置するので(たとえば、トランスミッタデバイスからの第1の距離)、投影セグメント312'は、その初期ロケーションから距離d2において現れる。対照的に、物体308がより遠くに位置するので(たとえば、トランスミッタ302からの第2の距離)、投影セグメント312''は、その初期ロケーションから距離d1において現れる(ただし、d1<d2)。すなわち、物体がトランスミッタ/レシーバから遠ければ遠いほど、受信される投影セグメント/部分/ウィンドウは、レシーバ304におけるその元の位置から近くなる(たとえば、出射投影および入射投影がより平行になる)。反対に、物体がトランスミッタ/レシーバから近ければ近いほど、受信される投影セグメント/部分/ウィンドウは、レシーバ304におけるその元の位置から遠くなる。したがって、受信コードワード位置と送信コードワード位置との間の差分が、物体の深度のインジケータとして使用されてよい。一例では、そのような深度(たとえば、相対深度)は、画像の中の各ピクセルまたはグループ化されたピクセル(たとえば、2つ以上のピクセルの領域)によって示される物体に対する深度値を提供してよい。
【００４３】
コードワード投影すなわちコードマスクを生成するために、様々なタイプの変調およびコーディング方式が使用されてよい。これらの変調およびコーディング方式は、たとえば、時間コーディング、空間コーディング、および直接コード化を含む。
【００４４】
時間コーディングでは、パターンは、測定している表面の上に経時的に連続して投影される。この技法は、高い確度および解像度を有するが、動的なシーンにとってさほど好適でない。
【００４５】
空間コーディングでは、情報が、局所近傍において形状およびパターンに基づいて符号化される。擬似ランダムコードはDe-Bruijnに基づいてよく、またはMアレイが、有効なコードワード(たとえば、m値強度または色変調)のコードブックを規定する。パターンセグメント化は、たとえば、形状およびパターンがひずんでいる場合、容易に達成されないことがある。
【００４６】
直接コード化では、水平ピクセル座標と垂直ピクセル座標の両方が符号化される。変調は、単調位相または強度波形によるものであってよい。しかしながら、この方式は、他の方法に対して利用されるコードブックよりも大きいコードブックを利用することがある。大部分の方法では、受信コードワード(感知コードワード)が、可能なコードワードの規定されたセットに対して(たとえば、コードブックの中で)相関されることがある。したがって、コードワードの小さいセット(たとえば、小さいコードブック)の使用は、より大きいコードブックよりも良好な性能をもたらすことがある。また、より大きいコードブックはより短い距離をコードワード間にもたらすので、より大きいコードブックを使用する実装形態によって追加のエラーに遭遇することがある。
【００４７】
構造化照明パターンは、コードマスクを通して光を照らすことによってシーン上に投影されてよい。コードマスクを通して投影された光は、1つまたは複数のモザイク式のコードマスク基本形状を含んでよい。各コードマスク基本形状は、空間コードのアレイを含んでよい。コードブックまたはデータ構造は、コードのセットを含んでよい。空間コード、コードマスク、およびコードマスク基本形状は、基底関数を使用して生成されてよい。基底関数の周期性は、(ゴースト画像を除去し製造を簡略化するための)エルミート対称性の集合パターン、(コードワード当りの最小パワーを確実にするための)最小デューティサイクル、(最適な輪郭解像度、および高解像度を得るためのコードパッキングのための)完全ウィンドウ特性、および(物体境界における改善された検出のための)ランダム化シフティングに対する要件を満たすように選ばれてよい。レシーバは、受信パターンを復調し、復号し、かつ受信パターンにおけるエラーを訂正するときの制約に適合するように意図された設計のコードブックおよび/または属性を利用してよい。
【００４８】
空間コードのサイズおよび対応する解像度は、コードマスク上の空間コードの物理的な空間範囲に対応する。サイズは、各コードワードを表す行列の中の行および列の数に相当してよい。コードワードが小さければ小さいほど、より小さい物体を検出することができる。たとえば、シャツの上のボタンとシャツ生地との間の深度差を検出および決定するために、コードワードは、ボタンのサイズよりも大きくなるべきでない。いくつかの実施形態では、各空間コードは、4行および4列を占有してよい。いくつかの実施形態では、コードは、たとえば、3×3、4×4、4×5、5×5、6×4、または10×10の行および列を占有すべき、より多数またはより少数の行および列(行×列)を占有してよい。
【００４９】
空間コードの空間表現は、どのように各コードワード要素がコードマスク上でパターン化され、次いで、シーン上に投影されるのかに対応する。たとえば、各コードワード要素は、1つまたは複数のドット、1つまたは複数のラインセグメント、1つまたは複数のグリッド、いくつかの他の形状、あるいはそれらのいくつかの組合せを使用して表されてよい。
【００５０】
空間コードの「デューティサイクル」は、コードワードの中でアサートされたビットまたは部分(たとえば、"1")の数のアサート解除されたビットまたは部分(たとえば、"0")の数に対する比に対応する。コードワードを含むコーディングされた光パターンがシーン上に投影されると、値が"1"の各ビットまたは各部分はエネルギー(たとえば、「光エネルギー」)を有してよく、値が"0"の各ビットはエネルギーがなくてよい。コードワードが容易に検出可能であるために、コードワードは、十分なエネルギーを有すべきである。
【００５１】
コードを特徴づける「輪郭解像度」または「完全ウィンドウ」とは、コードワードが所定量、たとえば、1ビット回転だけシフトされると、得られたデータが別のコードワードを表すことを示す。
【００５２】
図4は、複合コードマスクを生成しかつ/またはそのような複合コードマスクを投影するように構成されてよいトランスミッタデバイスの一例を示すブロック図である。トランスミッタデバイス402は、メモリ/記憶デバイス406(メモリデバイス)、画像投影デバイス408、および/または有形媒体409に結合される処理回路404を含んでよい。いくつかの態様では、トランスミッタデバイス402は、図3に関して上記で説明したトランスミッタ302に相当してよい。
【００５３】
第1の例では、トランスミッタデバイス402は、有形媒体409に結合されてよく、かつ/またはそれを含んでよい。有形媒体は、複合コードマスク414を規定してよく、含んでよく、かつ/または記憶してよい。有形媒体は、レーザーまたは他の光源からの光が、たとえば、近赤外周波数において回折性光学要素(DOE:diffractive optical element)を通して投影されると、コードワードパターン画像がトランスミッタから投影されるような、コードマスクを符号化するDOEであってよい。複合コードマスクは、キャリアレイヤと組み合わせられたコードレイヤを含んでよい。コードレイヤは、複数のシンボルによって規定される一意に識別可能な空間コーディングされたコードワードを含んでよい。キャリアレイヤは、独立に確認可能であってよく、かつコードレイヤとは異なってよい。キャリアレイヤは、投影上のひずみにとってロバストな複数の基準物体を含んでよい。コードレイヤおよびキャリアレイヤのうちの少なくとも一方は、投影の前に合成点広がり関数によって事前整形されてよい。
【００５４】
第2の例では、処理回路(または、プロセッサ)404は、コードレイヤ生成器/選択器416、キャリアレイヤ生成器/選択器418、複合コードマスク生成器/選択器420、および/または事前整形回路422を含んでよい。コードレイヤ生成器/選択器416は、事前記憶されているコードレイヤ410を選択してよく、かつ/またはそのようなコードレイヤを生成してもよい。キャリアレイヤ生成器/選択器418は、事前記憶されているキャリアレイヤ412を選択してよく、かつ/またはそのようなキャリアレイヤを生成してもよい。複合コードマスク生成器/選択器は、事前記憶されている複合コードマスク414を選択してよく、かつ/またはコードレイヤ410とキャリアレイヤ412とを組み合わせて複合コードマスク414を生成してもよい。オプションで、処理回路404は、複合コードマスクがそれを通して投影されるべきチャネルにおいて予想されるひずみを補償するように、複合コードマスク414、コードレイヤ410、および/またはキャリアレイヤ412を事前整形する事前整形回路422を含んでよい。
【００５５】
いくつかの実装形態では、複数の異なるコードレイヤおよび/またはキャリアレイヤが利用可能であってよく、ここで、そのような各キャリアレイヤまたは各コードレイヤは、異なる条件に対して(たとえば、トランスミッタデバイスとレシーバデバイスとの間の異なる距離または異なる構成における物体に対して)構成されてよい。たとえば、第1の距離内または範囲内の物体に対して、第2の距離または範囲における物体の場合とは異なるコードレイヤとキャリアレイヤとの組合せが使用されてよく、ここで、第2の距離は第1の距離よりも大きい。別の例では、コードレイヤとキャリアレイヤとの異なる組合せが、トランスミッタデバイスおよびレシーバデバイスの相対配向に応じて使用されてよい。
【００５６】
画像投影デバイス408は、生成/選択された複合コードマスクを当該物体上に投影するように働いてよい。たとえば、レーザーまたは他の光源が、複合コードマスクを当該物体上に(たとえば、投影チャネルを通して)投影するために使用されてよい。一例では、複合コードマスク414は、赤外スペクトルの中で投影されてよく、そのため、肉眼には見えないことがある。代わりに、赤外スペクトル範囲におけるレシーバセンサが、そのような投影された複合コードマスクを取り込むために使用されてよい。
【００５７】
図5は、物体から反射された複合コードマスクを受信するとともに複合コードマスクから深度情報を決定するように構成されるレシーバデバイス502の一例を示すブロック図である。レシーバデバイス502は、メモリ/記憶デバイスおよびレシーバセンサ508(たとえば、画像キャプチャデバイス508)に結合される処理回路504を含んでよい。いくつかの態様では、図5に示すレシーバデバイス502は、図3に関して上記で説明したレシーバ304に相当してよい。いくつかの実施形態では、レシーバセンサ508は、画像キャプチャデバイス、たとえば、カメラである。
【００５８】
レシーバセンサ508は、物体の表面上に投影された複合コードマスクの少なくとも一部分を取得するように構成されてよい。たとえば、レシーバセンサは、ターゲット物体の表面上に投影された複合コードマスク414の少なくとも一部分の画像を取り込んでよい。複合コードマスク414は、(a)複数のシンボルによって規定される、一意に識別可能な空間コーディングされたコードワードのコードレイヤ、および(b)独立に確認可能であり、コードレイヤとは異なり、投影上のひずみにとってロバストな複数の基準物体を含むキャリアレイヤによって規定されてよい。コードレイヤおよびキャリアレイヤのうちの少なくとも一方は、投影の前に合成点広がり関数によって事前整形されていてよい。一例では、レシーバセンサ508は、赤外スペクトルの中で複合コードマスクを取り込んで(感知して)よい。
【００５９】
引き続き図5を参照すると、いくつかの実施形態では、コードレイヤは、n1×n2のバイナリシンボルを備えてよく、ここでn1およびn2は2よりも大きい整数である。複合コードマスクにおいて、各シンボルは、基準物体とは異なる2つのグレースケール陰影のうちの一方の中のラインセグメントであってよい。コードレイヤのシンボルは、少なくとも1次元において千鳥状であってよい。キャリアレイヤ基準物体は、中間にガードインターバルを有し等しく離間された複数の基準ストライプを備えてよい。基準ストライプおよびガードインターバルは、異なる幅であってよい。ガードインターバル幅に対する各基準ストライプの幅は、トランスミッタデバイスおよび/またはレシーバデバイスの予想される光拡散によって決定されてよい。
【００６０】
処理回路504は、基準ストライプ検出器回路/モジュール512、ひずみ調整回路/モジュール514、コードワード識別器回路/モジュール516、深度検出回路/モジュール518、および/または深度マップ生成回路/モジュール520を含んでよい。
【００６１】
基準ストライプ検出器回路/モジュール512は、複合コードマスクの部分内の基準ストライプを検出するように構成されてよい。ひずみ調整回路/モジュール514は、基準ストライプの実際の配向に対する基準ストライプの予想配向に基づいて、複合コードマスクの部分のひずみを調整するように構成されてよい。コードワード識別器回路/モジュール516は、複合コードマスクの部分内で規定されたウィンドウからコードワードを取得するように構成されてよい。深度検出回路/モジュール518は、(a)複合コードマスクの単一の投影、および(b)既知の基準コードマスクに対するウィンドウの変位に基づいて、ウィンドウに対応するターゲット物体の表面部分に対する深度情報を取得するように構成されてよい。
【００６２】
深度マップ生成回路/モジュール520は、ひずんでいない複合コードマスクの部分内の異なる重複するウィンドウとして検出された複数のコードワードに基づいて、物体に対する深度マップを組み立てるように構成されてよい。
【００６３】
図6は、本明細書で開示する誤り訂正方法のうちの1つまたは複数を実行するように構成される装置の一実施形態を示すブロック図である。装置600は、発光体602、受光要素604、プロセッサ606、およびメモリ608を含む。発光体602、受光要素604、プロセッサ606、およびメモリ608は、バス610を介して動作可能に接続される。いくつかの態様では、受光要素604は、図5に関して上記で説明したレシーバデバイス502に相当してよい。いくつかの態様では、発光体602は、図4に関して上記で説明したトランスミッタデバイス402に相当してよい。
【００６４】
メモリ608は、本明細書で説明する方法の1つまたは複数の機能を実行するようにプロセッサ606を構成する命令を記憶してよい。たとえば、メモリに記憶される命令は、ターゲット物体を照明するために、コードワードとして構造化照明を符号化する光を発するように発光体602を制御するようにプロセッサ606を構成してよい。メモリ608に記憶される命令はさらに、ターゲット物体から反射する光を受信するとともに反射光の中で符号化されたデータを生成するようにプロセッサ606に受光要素604を制御させてよい。メモリに記憶される命令は、以下で説明する方法1500に従って受光要素によって生成されたデータの中のエラーを訂正するようにプロセッサをさらに構成してよい。
【００６５】
図7は、明るいスポットおよび暗いスポットに対応するシンボルのアレイを有するコードマスク700の一例の写真である。明るいスポットは、"1"シンボルに対応する。それらは、行および列をなして整列しており、かつ投影コードに構造を与えるとともに個々のシンボルおよびコードワードの空間境界を決定することを可能にする黒いガードインターバルおよびガードバンドによって分離される。コードワードは、シンボルの行および列を含む長方形の空間エリアを占有する。たとえば、コードワードは、4行および4列をなす16個のシンボルを含んでよい。明るいスポットを伴う"1"シンボルは見えるが、暗いスポットを伴う"0"シンボルはガードインターバルおよびガードバンドの中に混ざる。
【００６６】
図8は、図7のコードマスクなどのコードマスクを通してレーザーによって投影されるコードワードが重畳された深度マップを生成するために使用されるシーンの画像の写真800である。図8の画像は、前景の中にスノーフレークを含み、スノーフレークの右側に広げた手、横顔での彫刻された頭部、親指を立てて閉じた手、一番後ろには親指を立てた手の左側に開いた手が、増大する深度で後に続く。周波数スペクトルの非可視部分の中でコードワードが受信されることがあるので、図8の重畳されたコードワード投影は、それが見えるように図8において偽色彩法で印刷されている。
【００６７】
図9は、上記で説明した構造化照明技法を使用して決定された図8のシーンに対する深度マップ900の一例を示す。最小深度および最大深度の点が各々、図9において示される。いくつかの実施形態では、深度マップ900は、ビデオレートで(たとえば、30フレーム毎秒で)継続的に更新される。前に受信されたフレームから生成された既存の深度マップは、新たな画像フレームごとに予想深度のセットを提供する。画像の中の各ロケーションにおける深度は、各ロケーションにおける予想深度に対応し、そのロケーションにおける予想コードワード、シンボル、および基底関数を決定するために使用されてよい。
【００６８】
図10は、最適パワーレベルで投影されるコードワードの一例を示す。コードワードは、図7のコードマスクにおいて符号化されたシンボルに対応するシンボルの4×4アレイ1000を含む。図10におけるシンボルは、十分に画定された境界、および"0"シンボルと"1"シンボルとの間の強度値の明瞭な分離を有する。シンボル1010、ならびに黒い縁を有しシェーディングのない円として示される他の3つのシンボルは、暗い"0"シンボルドットに対応する。シンボル1020、ならびに各々が暗いハッチングを有する円として示される他の11個のシンボルは、明るい"1"シンボルドットに対応する。図10の例では、パワーレベルが最適である。図10における各シンボルは、飽和を伴わないかまたは縁部を越えてにじんでいない明瞭な境界を有する。図11にさらに示すように、暗いドット1010と明るいドット1020との間に明瞭な強度分離がある。
【００６９】
図11は、それぞれ、図10において説明したような最適レーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対する強度値の十分に分離された確率分布関数1110および1120の一例を示す。図11の水平軸および垂直軸は、それぞれ、強度レベルおよび確率レベルに対応する。暗い"0"シンボルに対する確率分布関数1110はガウス分布に近似し、μ0としての平均強度レベルにピークがあり、標準偏差がσ0である。対応する分散は、
【数１】
2018525636.tif 000003
である。同様に、明るい"1"シンボルに対する確率分布関数1120はガウス分布に近似し、平均がμ1、標準偏差がσ1である。この例では、μ1>μ0かつσ1>σ0である。2つの確率分布関数1110および1120は、十分に分離されているが重複する。
【００７０】
決定境界1130の左側の受信強度レベルは、"1"シンボルよりも"0"シンボルである可能性が高い。2つの確率分布関数1110および1120が等しい確率値を有して交差する決定境界1130において、確率は等しい。決定境界1130の右側の受信強度レベルは、"0"シンボルよりも"1"シンボルである可能性が高い。したがって、決定境界1130の左側の強度値を有する"0"シンボルは正しく分類され、右末尾1150に対応する決定境界の右側の"0"シンボルは誤って"1"シンボルとして分類される。
【００７１】
同様に、決定境界1130の右側の強度値を有する"1"シンボルは正しく分類され、左末尾1140に対応する決定境界の左側の"1"シンボルは誤って"0"シンボルとして分類される。したがって、より小さい分離は、より少ないシンボル分類エラーに対応する。
【００７２】
図11の例では、それらの分散の和によって正規化されたとき確率分布関数1110および1120の平均値の差が比較的大きいので、左末尾1140および右末尾1150は小さい。この関係は、下の式(1)において規定されるように、コントラスト、すなわちクラスタ間からクラスタ内への変動の尺度となるコード領域統計値によって数量化されてよい。シンボル強度レベル間でのより良好な分離は、Λに対するより高い値に対応する。
【数２】
2018525636.tif 000004
【００７３】
図12は、図10の、ただしシンボル1220においてもっと淡いハッチングによって示されるような明るいスポットが図10ほど明るくないような、もっと低いパワーレベルで照明されるコードワードの一例を示す。図12におけるシンボルは、十分に画定された境界を有するが、"0"シンボルと"1"シンボルとの間の強度値の明瞭な分離がさほどない。シンボル1210、ならびに黒い縁を有しシェーディングのない円として示される他の3つのシンボルは、暗い"0"シンボルドットに対応する。シンボル1220、ならびに各々が淡いハッチングを有する円として示される他の11個のシンボルは、明るい"1"シンボルドットに対応する。図10の例では、最適を下回るパワーレベル、すなわち、明るい"1"シンボル1220が明るい"1"シンボル1020ほど明るくないことは、暗いドットと明るいドットとの間に、より小さい強度分離しかもたらさない。
【００７４】
図13は、図12において説明したような最適を下回るレーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す。図10と比較すると、明るいスポットがより低いレーザーパワーレベルを有して明るくないので、それぞれ、暗い"0"シンボルおよび明るい"1"シンボルに対する確率分布関数1310および1320はより大きく重複する。決定境界1330は、決定境界1130よりも低い強度値にある。確率分布関数1310の右末尾1350は、右末尾1150よりも面積が著しく大きい。同様に、左末尾1340は、左末尾1140よりも面積が著しく大きい。確率分布関数1110および1120の場合に明らかであったことに比べて、最適を下回るレーザーパワーレベルを伴って確率分布関数1310と1320との間の重複の程度がより大きくなって、コントラスト統計値Λは、最適を下回るパワーに対して最適パワーの場合よりも小さくなる。
【００７５】
図14は、図10の、ただし明るいスポットが飽和しており、互いの中ににじみ、いくつかの暗いスポットを明るく見えさせるようにもっと高いパワーレベルで照明されるコードワードの一例を示す。飽和した明るい"1"ビット1420がガードバンド、ガードインターバルの中ににじみ、隣接する"0"シンボル1410に重複することさえあるので、図12におけるシンボルは、もはや送信された境界に対応する十分に画定された境界を有しない。これにより、"0"シンボル値に対する平均強度値が増大するとともに暗い"0"シンボル値の分散が増大するようになることがあり、明るいドットと暗いドットとの間に、より小さい強度分離しかもたらされないことがある。
【００７６】
図15は、図14において説明したような最適を上回るレーザーパワーで図7のコードマスクにおいて符号化された"0"シンボルおよび"1"シンボルに対するシンボルによる強度値の重複する確率分布関数の一例を示す。図10と比較すると、隣接する明るいスポットの中ににじむことまたは混ざること、および暗いスポットに対する強度値の分散の増大に起因して、暗いスポットがより明るく見えるので、確率分布関数1510において示すように、それぞれ、暗い"0"シンボルおよび明るい"1"シンボルに対する確率分布関数1510および1520はより大きく重複する。決定境界1530は、決定境界1130よりも高い強度値にある。確率分布関数1510の右末尾1550は、右末尾1150よりも面積が著しく大きい。同様に、左末尾1540は、左末尾1140よりも面積が著しく大きい。確率分布関数1110および1120の場合に明らかであったことに比べて、最適を上回るレーザーパワーレベルを伴って確率分布関数1510と1520との間の重複の程度がより大きくなって、コントラスト統計値Λは、最適を上回るパワーに対して最適パワーの場合よりも小さくなる。
【００７７】
図16は、光源のパワーレベルの関数としての2つのシンボル間のコントラスト(すなわち、分離)のグラフ1600の一例を示す。水平軸は、光源パワーレベルに対応する。垂直軸は、計算されたコントラスト統計値Λに対応する。この「コントラスト対パワー」曲線1610は、最適パワーレベル1620において最大コントラスト統計値1630を有する。「コントラスト対パワー」曲線1610は、それらを見ることができるように明るいドットを照明するのに不十分な点までパワーが減少するにつれて、最適パワーレベル1620の左側に急な末尾を有し、パワーが飽和に向かって増大するにつれて、最適パワーレベル1620の右側に長い末尾を有する。
【００７８】
図17は、光源の3つの異なるパワーレベル設定で取られた構造化照明画像の例を示す。図17における元の画像としての第1の行では、対応する画像は、第2の行におけるコードコントラスト統計値および第3の行における対応する深度マップから生成される。元の画像としての第1の行は、最適範囲内の定格パワーレベルにおける光源を使用して生成された画像1705、最適範囲を超える170%パワーレベルにおける光源を使用して生成された画像1710、および最適範囲からなお一層十分に200%パワーレベルにおける光源を使用して生成された画像1715を含む。図17における第2の行は、コードコントラスト統計値画像、すなわち、詳細には、元の画像1705に対応する画像1720、元の画像1710に対応する画像1725、および元の画像1715に対応する画像1730を含む。図17における第3の行は、それぞれ、元の構造化照明画像1705、1710、および1715によって生成された深度マップ1735、1740、および1745を含む。したがって、図17は、光源のパワーが100%かつ最適から、最適の170%および最適の200%まで増大するにつれて、深度マップがさほど正確でない情報しか提供しないことを示す。たとえば、円で囲まれたスノーフレーク深度は、深度マップ1735では十分に画定されているが、深度マップ1740ではあまり十分に画定されておらず、深度マップ1745ではさらに十分に画定されていない。
【００７９】
図18は、構造化照明システムにおけるレシーバセンサ508によって感知されるとき、暗すぎて感知および区別されないことも明るすぎて飽和しないこともないコードワードを投影するために、構造化照明システムにおけるレーザー1820を制御するために使用できるフィードバック制御システム1800を示す。フィードバック制御システム1800(フィードバックシステム)は、(光源)レーザー1820、複合コードマスク414、レシーバセンサ508、処理回路504、メモリ/記憶デバイス506(メモリデバイス)、および加算器1830に結合されるコントローラ1810を含む。これらの要素は、レーザー1820(レーザーシステム)の出力を反復的に制御するための図18に示すような負帰還ループを形成するように互いに結合されている。いくつかの実施形態では、コントローラ1810、レーザー1820、および複合コードマスク414は、トランスミッタデバイス402(図4)の要素であってよい。コントローラ1810およびレーザー1820は、画像投影デバイス408(図4)内に収容されている。いくつかの実施形態では、レシーバセンサ508、処理回路504、およびメモリ/記憶デバイス506は、レシーバデバイス502(図5)の要素であってよい。加算器1830は、トランスミッタデバイス402内またはレシーバデバイス502(図5)内のいずれかに組み込まれてよい。上述のようにトランスミッタデバイス402およびレシーバデバイス502は、単一のデバイス内に収容されてよい。さらに、コントローラ1810は、加算器1830を含んでよく、かつ/またはコントローラ1810および処理回路404は、単一の要素内で組み合わせられてよい。処理回路504、加算器1830、コントローラ1810、およびレーザー1820は、互いに結合されており、互いに電子通信している。レシーバセンサ508、処理回路504、およびメモリ/記憶デバイスは、互いに結合されており、かつ互いに電子通信している。
【００８０】
画像投影デバイス408(図4)は、コントローラ1810によって制御されるレーザー1820を含む。レーザー1820は、たとえば、人間の眼に見えないがレシーバセンサ508によって感知されてよい近赤外周波数における光を発する。レーザー1820の出力レベルは、コントローラ1810によって調整することができる。複合コードマスク414、レシーバセンサ508、処理回路504、およびメモリ/記憶デバイス506は、図4および図5に関して上記で説明されている。
【００８１】
図19は、既存の深度マップ情報(たとえば、シーンの前に決定された深度マップまたは前に決定されたコードワード)、およびシーンから受信された(から反射された)コードワードの感知画像を使用するコード領域統計値を使用して構造化照明トランスミッタのパワーを調整するためのプロセス1900の一例を示す。
【００８２】
ブロック1905において、プロセス1900は、レーザーパワーレベルを初期設定する。これは、たとえば、画像投影デバイス408(図4)、コントローラ1810(図18)、または発光体602(図6)によって実行されてよい。レーザーの初期設定は、ブロック1905において、たとえば、前にメモリに記憶されており、次いで、メモリから取り出され、レーザーの出力パワーに対応するレーザーパワーレベルを設定するために使用された前の最適レーザーパワーレベルに基づいて設定されてよい。記憶されているレーザーパワーレベルは、たとえば、所定の「工場設定」値であってよく、またはレーザーの前の使用中にあらかじめ決定されておりメモリに記憶されていてもよい。
【００８３】
ブロック1910において、プロセス1900は、深度マップを生成しそれをメモリに記憶する。これは、たとえば、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。プロセス1900は、深度情報を生成するためにコードワード変位が使用される、図3に関して説明したような構造化照明方法を使用してよい。プロセス1900は、単一の構造化照明フレームまたは複数の構造化照明フレームから深度マップ情報を生成してよい。深度マップ情報は、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されてよい。
【００８４】
円形フローチャート要素1915は、深度マップ更新サイクルにとっての開始点である。更新サイクルごとに、プロセス1900は、ブロック1920〜1955およびフィードバック経路1960において説明するように最適レーザーパワーレベルに収束する。収束されると、プロセス1900は、ブロック1965において、深度マップを更新しそれをメモリに記憶する。更新されると、プロセス1900は、別の深度マップ更新サイクルのために経路1970を経由して円形フローチャート要素1915に戻る。いくつかの実施形態では、レーザー収束および深度マップ更新サイクルは、ビデオレート、たとえば、30サイクル毎秒以上で行われてよい。
【００８５】
ブロック1920において、プロセス1900は、シーンの(または、シーンのいくつかのエリアもしくは部分の)深度マップ情報をメモリから取り出す。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。深度マップ情報は、図5および図18のメモリ/記憶デバイス506から、または図6のメモリ608から取り出されてよい。
【００８６】
ブロック1925において、プロセス1900は、予想シンボルを計算すること、予想基底関数を計算すること、および/または予想コードワードを計算することによって、取り出された深度マップ情報に基づいて、エリアに対する予想シンボル、予想コードワード、および/または予想基底関数を生成する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。深度マップ1735は、ロケーションの関数としての深度の図式表現である。
【００８７】
画像の中の各行および各列は、「予想」深度、すなわち、シーンの中の物体の表面との間の距離に対応する深度値を有する。図3に関して説明したように、エリア内でのコードワード変位と固有コードワードに対する深度との間に1対1の対応がある。各コードワードロケーションにおいて、プロセス1900は、取り出された深度マップの中の深度に対応するコードワード変位を計算する。プロセス1900は、次いで、コードワード変位によってコードマスク内を変換して、各コードワードロケーションにおける予想コードワードを決定する。これをエリアにわたって反復することによって、プロセス1900は、ロケーションの関数としての予想コードワードのアレイを決定する。
【００８８】
各コードワードは、シンボルの既知のアレイを備える。各コードワードをそのシンボルに関連付けることによって、プロセス1900は、各シンボルロケーションにおけるシンボルの対応するセットを決定する。
【００８９】
さらに、コードマスクの各部分におけるコードワードは、コードマスクを生成するために使用される調和基底関数に直接マッピングする。各ロケーションを中心としたコードワードを対応する(変位した)コードマスクロケーションにおけるコードマスクを生成するために使用される基底関数に関連付けることによって、プロセス1900は、各基底関数ロケーションにおける基底関数の対応するセットを決定する。
【００９０】
予想コードワード、予想シンボル、および予想基底関数は、レーザーパワーが最適レベルにあり深度マップが正確である場合、プロセス1900が復号するコードワード、シンボル、および基底関数に対応する。したがって、これらの値は、最適レーザーパワーレベルへの収束の助けとなるために使用されてよい。
【００９１】
ブロック1930において、プロセス1900は、コードマスクを通してレーザー光を投影して、コードワードをシーン上に投影する。コードマスクは、同じコードワード、関連するシンボルを有し、ブロック1925に関して上記で説明したコードマスクとして、同じ調和基底関数によって形成される。これは、たとえば画像投影デバイス408(図4)、レーザー1820(図18)、または発光体602(図6)によって実行されてよい。コードワードは、時間区間にわたって継続的に投影される。投影コードワードは、シーン上、またはシーンの中の物体上に投影されてよい。
【００９２】
ブロック1935において、プロセス1900は、コードワードの反射画像を感知する。これは、図5および図18のレシーバセンサ508、または光源と統合されたセンサ、たとえば図6の発光体602と統合された受光要素604によって実行されてよい。受信コードワードは、シーンまたはシーンの中の物体の画像の中で受信されてよい。
【００９３】
ブロック1940において、プロセス1900は、エリアに対する感知シンボルの強度レベル、コードワード、および/または基底関数を感知画像に基づいて決定する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。プロセス1900は、処理回路504ならびにモジュール512、514、516、および518を使用してコードワードを画成および検出するために、図5に関して上記で説明した機能を実行する。プロセス1900は、受信コードワードを決定すると、各コードワードを各コードワードに対応するシンボルの既知の(たとえば、記憶されており先在している)セットに関連付けて、受信コードワードのセットを生成する。コードマスクおよびコードワードが調和基底関数を使用して生成される実施形態では、プロセス1900は、調和基底関数ごとに1つ、入射強度値をマッチドフィルタに適用すること、およびどのマッチドフィルタが最高出力を有するのかを決定することによって受信基底関数を決定してよい。最高出力を有するマッチドフィルタは、そのロケーションにおいて最も可能性が高い基底関数に対応する。
【００９４】
ブロック1945において、プロセス1900は、予想および感知シンボル、コードワード、および/または基底関数に基づいて、少なくとも1つのコード領域統計値を生成する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。コードワード統計値の第1の例は、どれほど十分に受信コードワードを検出することができるのかを数量化するために、上の式(1)において定義されたようなコントラスト統計値Λを使用してシンボル分離を特徴づける。第2のコードワード統計値は、それらの対応する予想コードワードに整合する受信コードワードのパーセンテージを計算することによってコードワード検出確度を特徴づける。第3のコードワード統計値は、それらの対応する予想基底関数に整合する受信基底関数のパーセンテージを計算することによって基底関数確度を特徴づける。コントラスト、コードワード検出確度、および基底関数検出確度の統計値を算出するためのいくつかのプロセスの例が、それぞれ、図21、図22、および図23に関して以下で説明される。
【００９５】
ブロック1950において、プロセス1900は、少なくとも1つのコード領域統計値に応じてレーザーパワーを調整する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。図18を参照すると、レーザーパワーレベルが増大すべきかそれとも減少すべきかを決定するためにコントローラ1810によって使用されるエラー値を決定するために、コード領域統計値は加算器1830によって基準値と合成することができる。コントローラ1810は、次いで、制御信号をレーザー1820へ送信し、それによってコード領域統計値を改善するようにレーザーパワーを調整する。このフィードバック制御システム1800は、継続的に動作してよく、いくつかの実施形態では、ビデオフレームレートで最適パワーレベルに収束してよい。図18は、負帰還ループとしてのレーザー1820の制御を表す。いくつかの実施形態では、レーザー1820は、適応アルゴリズムを使用するかまたは非線形探索技法を使用して制御されてよい。
【００９６】
ブロック1955において、プロセス1900は、レーザーパワーレベルが収束したかどうかを決定する。これは、図18のコントローラ1810、図5および図18の処理回路504、または図6のプロセッサ606によって実行されてよい。プロセス1900は、パワー調整値がしきい値よりも低い場合、レーザーパワーレベルが収束したと決定してよい。レーザーパワーレベルがまだ収束していない場合、プロセス1900は、フィードバック経路1960に沿ってブロック1930に進む。
【００９７】
レーザーパワーレベルが収束している場合、プロセス1900はブロック1965に進む。ブロック1965において、プロセス1900は、深度マップを更新しそれをメモリに記憶する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。更新された深度マップまたは更新された深度マップ情報が、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されてよい。プロセス1900は、新たな深度マップ更新サイクルを開始するために、経路1970に沿って円形フローチャート要素1915に進む。
【００９８】
図20は、物体から反射される1つまたは複数の受信コードワードから決定される情報を使用して構造化照明トランスミッタのパワーを制御するためのプロセス2000の一例を示す。
【００９９】
ブロック2005において、プロセス2000は、コードワードのパターンを1つまたは複数の物体上に投影する。これは、たとえば、画像投影デバイス408(図4)、レーザー1820(図18)、または発光体602(図6)によって実行されてよい。コードワードは、時間区間にわたって継続的に投影される。投影コードワードは、シーン上、またはシーンの中の物体上に投影されてよい。
【０１００】
ブロック2010において、プロセス2000は、コードワードを受信する。これは、図5および図18のレシーバセンサ508、または光源と統合されたセンサ、たとえば、図6の発光体602と統合された受光要素604によって実行されてよい。受信コードワードは、シーンまたはシーンの中の物体の画像の中で受信されてよい。
【０１０１】
ブロック2015において、プロセス2000は、受信コードワードのうちの1つまたは複数からコード領域統計値を計算する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。コード領域統計値は、シンボル分類確度、コードワード復号確度、および/または基底関数復号確度を数量化する。
【０１０２】
第1の例では、シンボル分類確度は、シンボル間のコントラストと相関してよい。コントラストの程度は、図11に関して上記で説明したように数量化されてよく、平均値および標準偏差(および/または、対応する分散)が、シンボルごとに受信強度値に対して推定され、式(1)が使用されてコード領域統計値Λを決定する。下の図21は、コード領域統計値を決定するためのプロセス2100を示す。決定されたコード領域統計値は、シンボル分類確度を数量化する。
【０１０３】
第2の例では、コード領域統計値は、既存の深度マップまたは前に受信されたコードワードに基づいて、予想コードワードに整合する復号コードワードのパーセンテージを計算することによってコードワード検出確度を数量化してよい。下の図22は、コードワード検出確度を特徴づけるコード領域統計値を決定するためのプロセス2200を示す。
【０１０４】
第3の例では、コード領域統計値は、正しく受信された基底関数のパーセンテージを計算することによって基底関数コーディング確度を数量化してよい。下の図23は、コード領域統計値を決定するためのプロセス2300を示す。決定されたコード領域統計値は、基底関数確度を数量化する。
【０１０５】
ブロック2020において、プロセス2000は、コード領域統計値に基づいて光源のパワーを調整し、光源の調整されたパワー設定でコードワードをさらに投影するために経路2025を通じてループバックしてよい。プロセス2000は、様々な実装形態で光源のパワーを調整してよい。一例は、図18に関して説明したような閉ループ負帰還実装形態であり、処理回路504によって決定されたコード領域統計値が加算器1830によって基準値と比較されて、レーザー1820のパワーレベルを調整する制御信号を決定するためにコントローラ1810によって使用される差分またはエラー信号を生成する。第2の例では、最適レーザーパワーレベルに収束するために適応アルゴリズムが使用される。第3の例では、1つまたは複数のコード領域統計値を最大化する最適レーザー1820パワーレベルを特定するために非線形探索技法が使用される。
【０１０６】
図21は、コード領域統計値が、強度平均値の差の2乗を強度分散の和で除算したものが尺度となるようなシンボル間のコントラストである、プロセス2000のコード領域統計値を計算するためのプロセス2100の一例を示す。
【０１０７】
ブロック2105において、プロセス2100は、対応する予想シンボルを深度マップおよび/または前に受信されたコードワードから計算する。「予想」受信シンボルは、最も可能性が高い(最大尤度の)シンボルに対応する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。深度マップおよび/または前に受信されたコードワードは、メモリまたは記憶デバイスに記憶される。これは、図5および図18のメモリ/記憶デバイス506または図6のメモリ608によって実行されてよい。
【０１０８】
ブロック2110において、プロセス2100は、各受信強度値を予想シンボルに割り当てる。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。これは、"0"シンボルが予想されるロケーションに対する受信強度値、ならびに"1"シンボルが予想されるロケーションに対する強度値を深度マップおよび/または前に受信されたコードワードに基づいて識別することを可能にする。受信強度値は、データ構造の中でシンボルによってラベルがつけられてよく、またはそれぞれのシンボルヒストグラムの中に組み込まれてよい。
【０１０９】
ブロック2115において、プロセス2100は、シンボルごとに平均強度値および分散強度値を計算する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。図11に関して上記で説明したように、シンボルごとの強度値の確率分布関数は、正規分布すると見なされる場合、強度値のその平均値および分散(または、対応する標準偏差)によって特徴づけられてよい。
【０１１０】
ブロック2120において、プロセス2100は、シンボルごとに平均強度値および分散強度値に基づいてコントラスト統計値を計算する。これは、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。たとえば、コントラスト統計値Λは、式1において定義されたように強度平均値の差の2乗を強度分散の和で除算したものである。より高いコントラスト統計値が、より大きいシンボル分離、より小さい重複、およびより高いシンボル検出確度に対応する。
【０１１１】
図22は、コード領域統計値が、予想コードワードに整合する受信コードワードのパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2200の一例を示す。プロセス2200のブロック2205、2210、2215、および2220は各々、図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。
【０１１２】
ブロック2205において、プロセス2200は、深度マップおよび/または前に受信されたコードワードから予想コードワードを計算する。深度マップおよび/または前に受信されたコードワードは、たとえば、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されている。
【０１１３】
ブロック2210において、プロセス2200は、誤り訂正の後の各受信コードワードをその予想コードワードと比較する。追加の情報がない場合、予想コードワードは正しいものと想定される。
【０１１４】
ブロック2215において、プロセス2200は、正しく受信されたコードワードのパーセンテージを計算する。パーセンテージは、予想コードワードに整合する受信コードワードの比率である。より大きいパーセンテージが、より高いコードワード検出確度に対応する。
【０１１５】
図23は、コード領域統計値が、予想基底関数に整合する受信基底関数のパーセンテージである、プロセス2000のコード領域統計値を計算するためのプロセス2300の一例を示す。プロセス2300のブロック2305、2310、および2315は各々、以下で説明されてよく、各々が図5および図18の処理回路504または図6のプロセッサ606によって実行されてよい。
【０１１６】
ブロック2305において、プロセス2300は、深度マップおよび/または前に受信されたコードワードから、図3に関して上記で定義されたように予想基底関数を計算する。深度マップおよび/または前に受信されたコードワードは、たとえば、図5および図18のメモリ/記憶デバイス506または図6のメモリ608に記憶されている。
【０１１７】
ブロック2310において、プロセス2300は、各受信基底関数をその予想基底関数と比較する。追加の情報がない場合、予想基底関数は正しいものと想定される。
【０１１８】
ブロック2315において、プロセス2300は、正しく受信された基底関数のパーセンテージを計算する。パーセンテージは、予想基底関数に整合する受信基底関数の比率である。より大きいパーセンテージが、より高い基底関数検出確度に対応する。より高い基底関数検出確度が、より高いコードワード検出確度に対応する。
【０１１９】
たとえば、「第1の」、「第2の」などの呼称を使用する本明細書における要素へのいかなる参照も、一般に、それらの要素の数量または順序を限定しないことを理解されたい。むしろ、これらの呼称は、2つ以上の要素または要素のインスタンスの間を区別する好都合な方法として本明細書で使用されることがある。したがって、第1の要素および第2の要素への参照は、そこで2つの要素だけが採用されてよいこと、または第1の要素が何らかの形で第2の要素に先行しなければならないことを意味しない。また、別段に記載されていない限り、要素のセットは、1つまたは複数の要素を備えてよい。加えて、説明または請求項において使用される「A、B、またはCのうちの少なくとも1つ」という形態の用語は、「AまたはBまたはC、あるいはこれらの要素の任意の組合せ」を意味する。
【０１２０】
本明細書で使用する「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、たとえば、ルックアップテーブル、データベース、または別のデータ構造の中でルックアップすること)、確認することなどを含んでよい。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリの中のデータにアクセスすること)などを含んでよい。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含んでよい。
【０１２１】
本明細書で使用するとき、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含むそれらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含するものとする。
【０１２２】
上記で説明した方法の様々な動作は、動作を実行することが可能な任意の好適な手段、たとえば、様々なハードウェアおよび/またはソフトウェア構成要素、回路、および/またはモジュールによって実行されてよい。概して、図に示すいかなる動作も、動作を実行することが可能な対応する機能手段によって実行されてよい。
【０１２３】
本開示に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス(PLD)、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行されてよい。汎用プロセッサは、マイクロプロセッサであってよいが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてよい。
【０１２４】
1つまたは複数の態様では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてよい。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されてよく、またはコンピュータ可読媒体を介して送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってよい。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用できるとともにコンピュータによってアクセスできる任意の他の媒体を備えることができる。ディスク(disk)およびディスク(disc)は、本明細書で使用するとき、コンパクトディスク(disc)(CD)、レーザーディスク(disc)(登録商標)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的コンピュータ可読媒体(たとえば、有形媒体)を備えてよい。
【０１２５】
本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく、互いに入れ替えられてよい。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正されてよい。
【０１２６】
さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合、ユーザ端末および/または基地局によってダウンロードおよび/または別の方法で取得できることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実行するための手段の転送を容易にするためにサーバに結合することができる。代替として、本明細書で説明した様々な方法は、ユーザ端末および/または基地局が記憶手段をデバイスに結合または提供すると様々な方法を取得できるように記憶手段(たとえば、RAM、ROM、物理的記憶媒体、たとえば、コンパクトディスク(CD)またはフロッピーディスクなど)を介して提供することができる。その上、本明細書で説明した方法および技法をデバイスに提供するための任意の他の好適な技法を利用することができる。
【０１２７】
特許請求の範囲が、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、上記で説明した方法および装置の構成、動作、および詳細において、様々な修正、変更、および変形が行われてよい。
【符号の説明】
【０１２８】
100  アクティブ感知システム
102  トランスミッタ
104  投影画像
106  シーン
107  深度マップ
108  レシーバ
110  反射画像
116  空間パターン
120  固有コードワード
201  エンコーダ/整形変調器
202  トランスミッタデバイス
204  送信チャネル
205  レシーバセンサ
206  セグメント化/デコーダ
208  深度マップ
210  ターゲット
300  デバイス
302  トランスミッタ
304  レシーバ
305  レンズ平面
306  物体
307  センサ平面
308  物体
310  コードワード投影
311  反射コードワード
312'  投影セグメント
312''  投影セグメント
313  トランスミッタ開口
315  レシーバ開口
402  トランスミッタデバイス
404  処理回路
406  メモリ/記憶デバイス
408  画像投影デバイス
409  有形媒体
410  コードレイヤ
412  キャリアレイヤ
414  複合コードマスク
416  コードレイヤ生成器/選択器
418  キャリアレイヤ生成器/選択器
420  複合コードマスク生成器/選択器
422  事前整形回路
502  レシーバデバイス
504  処理回路
506  メモリ/記憶デバイス
508  レシーバセンサ
512  基準ストライプ検出器回路/モジュール
514  ひずみ調整回路/モジュール
516  コードワード識別子回路/モジュール
518  深度検出回路/モジュール
520  深度マップ生成回路/モジュール
600  装置
602  発光体
604  受光要素
606  プロセッサ
608  メモリ
610  バス
1010  暗いドット
1020  明るいドット
1110  確率分布関数
1120  確率分布関数
1130  決定境界
1800  フィードバック制御システム
1810  コントローラ
1820  レーザー
1830  加算器
【図１】
2018525636.tif 000005
【図２】
2018525636.tif 000006
【図３】
2018525636.tif 000007
【図４】
2018525636.tif 000008
【図５】
2018525636.tif 000009
【図６】
2018525636.tif 000010
【図７】
2018525636.tif 000011
【図８】
2018525636.tif 000012
【図９】
2018525636.tif 000013
【図１０】
2018525636.tif 000014
【図１１】
2018525636.tif 000015
【図１２】
2018525636.tif 000016
【図１３】
2018525636.tif 000017
【図１４】
2018525636.tif 000018
【図１５】
2018525636.tif 000019
【図１６】
2018525636.tif 000020
【図１７】
2018525636.tif 000021
【図１８】
2018525636.tif 000022
【図１９】
2018525636.tif 000023
【図２０】
2018525636.tif 000024
【図２１】
2018525636.tif 000025
【図２２】
2018525636.tif 000026
【図２３】
2018525636.tif 000027
【国際調査報告】
2018525636.tif 000028
2018525636.tif 000029