【手続補正書】
【提出日】令和3年5月12日(2021.5.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
パノラマカラー光検出及び測距（ＬＩＤＡＲ）システムであって、
固定ベースと、
前記固定ベースに回転可能に連結されており、光を送信する工程と反射光を検出する工程とにより複数の測距測定を実行して、視野角内に分布する複数のＬＩＤＡＲピクセルを含むＬＩＤＡＲ画像を取得するように構成されているＬＩＤＡＲシステムと、
前記固定ベースに固定的に連結され、前記ＬＩＤＡＲシステムの周囲に周方向に配置された複数のカラーカメラであって、各カメラは前記視野角の一部分であるそれぞれのカメラ視野を有し、当該複数のカラーカメラは複数のカラーピクセルを含む複数のカラー画像を取得するように構成されている、複数のカラーカメラと、
前記複数のＬＩＤＡＲピクセルと前記複数のカラーピクセルとの間のマッピングを定義するカラーピクセルルックアップテーブルを記憶するメモリと、
前記メモリに動作可能に連結されたコントローラであって、
それぞれのカメラ視野に対する前記ＬＩＤＡＲシステムの決定された角度位置に基づいて、前記複数のカラー画像の各々の画像捕捉をトリガして、前記ＬＩＤＡＲピクセルの一部分の捕捉を前記複数のカラーカメラのそれぞれのカメラのカラーピクセルの捕捉と同期させる工程と、
前記メモリに記憶された前記カラーピクセルルックアップテーブルを使用して、前記複数のカラーピクセルのうちの少なくとも１つを前記複数のＬＩＤＡＲピクセルのうちの対応するＬＩＤＡＲピクセルに関連付け、それによって色付けされたＬＩＤＡＲピクセルを生成する工程と、
を行うように構成されている、コントローラと、
を備えたことを特徴とするシステム。
【請求項２】
前記固定ベース上の固定基準点に対する前記ＬＩＤＡＲシステムのポインティング方向に対応する角度位置信号を出力するように構成されているロータリエンコーダ
を更に備え、
前記コントローラは、前記角度位置信号を受信するように、かつ、前記角度位置信号が前記角度位置が前記複数のカラーカメラのうちの１つに関連付けられた前記角度位置信号の指定値に等しいことを示す場合に、前記画像捕捉をトリガするように、構成されている
ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項３】
前記コントローラは、
前記ＬＩＤＡＲシステムの回転中に、前記ＬＩＤＡＲシステムの角度位置を複数回決定する工程と、
前記決定された角度位置を、各々が前記複数のカラーカメラの対応するカメラのトリガ角度位置に対応する複数の指定値と比較する工程と、
前記決定された角度位置が前記対応するカメラの前記トリガ角度位置と一致する場合、前記対応するカメラにコマンドを送信してカラー画像を取得し、それによって前記複数のカラーピクセルを含む前記複数のカラー画像を得る工程と、
前記複数のカラーピクセルのうちの１または複数を、前記決定された角度位置の各々において、ＬＩＤＡＲピクセルアレイの各々に関連付ける工程と、
を行うように構成されている
ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項４】
前記カラーピクセルルックアップテーブルは、前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間のマッピングのための深度値を含み、
前記コントローラは、
対応するＬＩＤＡＲピクセルの測定された深度値を使用して、前記カラーピクセルルックアップテーブルにアクセスする工程と、
対応するＬＩＤＡＲピクセルの測定された深度値に対して記憶された１または複数のカラーピクセルを使用して、前記複数のカラーピクセルのうちの少なくとも１つを、前記複数のＬＩＤＡＲピクセルのうちの対応するＬＩＤＡＲピクセルに関連付ける工程と、
を行うように構成されている
ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項５】
前記カラーピクセルルックアップテーブルは、各々が対応する深度値に関連付けられた複数のサブテーブルを含み、
前記コントローラは、特定の深度値を有する特定のＬＩＤＡＲピクセルをマッピングするために前記複数のサブテーブルのうちの１つを選択するように構成されている
ことを特徴とする請求項４に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項６】
前記サブテーブルの各々は、深度値の範囲と関連付けられ、
前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間の前記マッピングは、前記サブテーブル間で異なる
ことを特徴とする請求項５に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項７】
前記カラーピクセルルックアップテーブルに従って、前記コントローラは、
カラー画像の解像度が前記ＬＩＤＡＲ画像の関連部分と一致するように、当該カラー画像をフィルタリングまたはダウンサンプリングする工程と、
ＬＩＤＡＲピクセル視野（ＦＯＶ）との重複が最も多い視野（ＦＯＶ）を有する前記フィルタリングまたはダウンサンプリングされたカラー画像内で、１つのピクセルの色を選択する工程と、
を行うために使用するように構成されている
ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項８】
前記カラーピクセルルックアップテーブルは、プロパティ値エントリのリストを含み、
各プロパティ値エントリは、プロパティフィールド及び対応する値フィールドを有し、
前記プロパティフィールドは、ＬＩＤＡＲピクセルのセット及び深度値の範囲を定義し、
各値フィールドは、前記対応するＬＩＤＡＲピクセルに関連付けられる前記複数のカラーピクセルのうちの前記少なくとも１つを特定するための式を定義する
ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項９】
前記コントローラは、
前記複数のカラー画像のうちの対応するカラー画像が取得されるまで、前記複数のＬＩＤＡＲピクセルのグループを前記メモリに記憶する工程と、
前記対応するカラー画像が取得されることに応答して、前記複数のカラーピクセルのうちの１または複数を、前記複数のＬＩＤＡＲピクセルの前記グループの各々に関連付ける工程と、
を行うように構成されている
ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項１０】
前記カラーピクセルルックアップテーブルは、各回転について３６０度の角度位置によってインデックス付けされており、
前記カラーピクセルルックアップテーブルの各エントリは、ピクセルアレイ内の特定の角度位置及び特定のセンサに対するそれぞれのカラー画像の１または複数のカラーピクセルを特定する
ことを特徴とする請求項１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項１１】
回転する光測距及び検出（ＬＩＤＡＲ）システムの第１の角度位置を決定する工程と、
前記ＬＩＤＡＲシステムにより、前記第１の角度位置で第１のＬＩＤＡＲピクセルを取得する工程と、
前記ＬＩＤＡＲシステムのメモリに前記第１のＬＩＤＡＲピクセルを記憶する工程と、
前記第１の角度位置が第１のカラーカメラと関連付けられた第１の指定値に等しいことを決定する工程であって、前記第１の指定値は、前記第１のＬＩＤＡＲピクセルが前記第１のカラーカメラの視野角内にあるように設定されている、という工程と、
前記第１の角度位置が前記第１の指定値に等しいと決定した結果、前記第１のカラーカメラに第１のカラー画像を取得させる工程であって、前記第１のカラー画像は、カラーピクセルのセットを含む、という工程と、
メモリに前記第１のカラー画像を記憶する工程と、
前記ＬＩＤＡＲシステムのプロセッサによって、前記第１のＬＩＤＡＲピクセルに、前記メモリに記憶されたカラーピクセルルックアップテーブルを使用して前記カラーピクセルのセットの少なくとも１つのカラーピクセルから少なくとも１つのカラー値を割り当てることにより、第１の色付けされたＬＩＤＡＲピクセルを生成する工程であって、前記カラーピクセルルックアップテーブルは、複数のＬＩＤＡＲピクセルと前記カラーピクセルのセットとの間のマッピングを定義する、という工程と、
を備えたことを特徴とする方法。
【請求項１２】
前記第１の角度位置を決定する工程は、前記第１の角度位置に対応する第１の特徴をエンコーダレシーバによって検出する工程を含む
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記ＬＩＤＡＲシステムの回転中に、前記ＬＩＤＡＲシステムの角度位置を複数回決定する工程と、
前記決定された角度位置を、各々が前記複数のカラーカメラの対応するカメラのトリガ角度位置に対応する複数の指定値と比較する工程と、
前記決定された角度位置が前記対応するカメラの前記トリガ角度位置と一致する場合、前記対応するカメラにコマンドを送信してカラー画像を取得し、それによって前記複数のカラーピクセルを含む前記複数のカラー画像を得る工程と、
前記複数のカラーピクセルのうちの１または複数を、前記決定された角度位置の各々において、ＬＩＤＡＲピクセルアレイの各々に関連付ける工程と、
を更に備えたことを特徴とする請求項１１に記載の方法。
【請求項１４】
前記複数のカラー画像のうちの対応するカラー画像が取得されるまで、前記複数のＬＩＤＡＲピクセルのグループを前記メモリに記憶する工程と、
前記対応するカラー画像が取得されることに応答して、前記複数のカラーピクセルのうちの１または複数を、前記複数のＬＩＤＡＲピクセルの前記グループの各々に関連付ける工程と、
を更に備えたことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記カラーピクセルルックアップテーブルは、前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間のマッピングのための深度値を含み、
当該方法は、
前記第１のＬＩＤＡＲピクセルの第１の深度値を決定する工程と、
前記カラーピクセルルックアップテーブルを使用して、前記カラーピクセルのセットの前記少なくとも１つのカラーピクセルから前記少なくとも１つのカラー値を割り当てるために、前記第１の深度値を使用する工程と、
を更に備えたことを特徴とする請求項１１に記載の方法。
【請求項１６】
前記カラーピクセルルックアップテーブルは、各々が対応する深度値に関連付けられた複数のサブテーブルを含み、
当該方法は、前記第１の深度値を有する前記第１のＬＩＤＡＲピクセルをマッピングするために、前記複数のサブテーブルのうちの１つを選択する工程を更に含む
ことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記第１のカラー画像の解像度がＬＩＤＡＲピクセルのＬＩＤＡＲ画像の関連部分と一致するように、前記第１のカラー画像をフィルタリングまたはダウンサンプリングする工程
を更に備え、
前記第１の色付けされたＬＩＤＡＲピクセルは、前記第１のＬＩＤＡＲピクセルの視野（ＦＯＶ）との重複が最も多い視野（ＦＯＶ）を有する前記フィルタリングまたはダウンサンプリングされたカラー画像内のカラーピクセルの色を使用して生成される
ことを特徴とする請求項１１に記載の方法。
【請求項１８】
前記カラーピクセルルックアップテーブルは、プロパティ値エントリのリストを含み、
各プロパティ値エントリは、プロパティフィールド及び対応する値フィールドを有し、
前記プロパティフィールドは、ＬＩＤＡＲピクセルのセット及び深度値の範囲を定義し、
各値フィールドは、前記第１のＬＩＤＡＲピクセルに関連付けられる前記少なくとも１つのカラーピクセルを特定するための式を定義する
ことを特徴とする請求項１１に記載の方法。
【請求項１９】
前記ＬＩＤＡＲシステムにより、第２の角度位置で第２のＬＩＤＡＲピクセルを取得する工程と、
前記ＬＩＤＡＲシステムのプロセッサにより、前記第２のＬＩＤＡＲピクセルに、前記メモリに記憶された前記カラーピクセルルックアップテーブルを使用して前記カラーピクセルのセットの１または複数の他のピクセルから１または複数のカラー値を割り当てることにより、第２の色付けされたＬＩＤＡＲピクセルを生成する工程であって、前記第１のカラー画像は前記第２のＬＩＤＡＲピクセルが取得される前に取得される、という工程と、
を更に備えたことを特徴とする請求項１１に記載の方法。
【請求項２０】
前記カラーピクセルルックアップテーブルは、各回転について３６０度の角度位置によってインデックス付けされており、
前記カラーピクセルルックアップテーブルの各エントリは、ピクセルアレイ内の特定の角度位置及び特定のセンサに対するそれぞれのカラー画像の１または複数のカラーピクセルを特定する
ことを特徴とする請求項１１に記載の方法。
【請求項２１】
パノラマカラー光検出及び測距（ＬＩＤＡＲ）システムであって、
固定ベースと、
前記固定ベースに回転可能に連結されており、光を送信する工程と反射光を検出する工程とにより複数の測距測定を実行して、視野角内に分布する複数のＬＩＤＡＲピクセルを含むＬＩＤＡＲ画像を取得するように構成されているＬＩＤＡＲシステムと、
前記固定ベースに固定的に連結され、前記ＬＩＤＡＲシステムの周囲に周方向に配置された複数のカラーカメラであって、各カメラは前記視野角の一部分であるそれぞれのカメラ視野を有し、当該複数のカラーカメラは複数のカラーピクセルを含む複数のカラー画像を取得するように構成されている、複数のカラーカメラと、
コントローラであって、
前記複数のＬＩＤＡＲピクセルのそれぞれと前記複数のカラーピクセルのそれぞれとの間の空間的対応を決定する工程と、
前記カラーピクセルを空間的に対応するＬＩＤＡＲピクセルと組み合わせて色付けされたＬＩＤＡＲピクセルを生成する工程と、
前記色付けされたＬＩＤＡＲピクセルをユーザインタフェースに提供する工程と、
を行うように構成されている、コントローラと、
を備えたことを特徴とするパノラマカラーＬＩＤＡＲシステム。
【請求項２２】
前記空間的対応を決定する工程は、
前記複数のＬＩＤＡＲピクセルと前記複数のカラーピクセルとの間のマッピングを定義するカラーピクセルルックアップテーブルを使用して、前記カラーピクセルを前記それぞれのＬＩＤＡＲピクセルに関連付ける工程
を有している
ことを特徴とする請求項２１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項２３】
前記カラーピクセルルックアップテーブルは、各回転について３６０度の角度位置によってインデックス付けされており、
前記カラーピクセルルックアップテーブルの各エントリは、ピクセルアレイ内の特定の角度位置及び特定のセンサに対するそれぞれのカラー画像の１または複数のカラーピクセルを特定する
ことを特徴とする請求項２２に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項２４】
前記カラーピクセルルックアップテーブルは、前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間のマッピングのための深度値を含み、
前記コントローラは、更に、前記ＬＩＤＡＲピクセルの深度値を決定する工程
を行うように構成されており、
前記カラーピクセルは、更に前記深度値に基づいて決定される
ことを特徴とする請求項２２に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項２５】
前記色付けされたＬＩＤＡＲピクセルは、検出されたオブジェクトの経時的な３次元カラーマップを介して提供される
ことを特徴とする請求項２１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項２６】
前記カラーマップは、更に、特定のオブジェクトの特定のビューの特定の時間における距離値を含む
ことを特徴とする請求項２５に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項２７】
前記複数のカラー画像を捕捉する工程は、
それぞれのカメラ視野に対する前記ＬＩＤＡＲシステムの決定された角度位置に基づいて、前記複数のカラー画像の各々を捕捉して、前記ＬＩＤＡＲピクセルの一部分の捕捉を前記複数のカラーカメラのそれぞれのカメラのカラーピクセルの捕捉と同期させる工程
を含む
ことを特徴とする請求項２１に記載のパノラマカラーＬＩＤＡＲシステム。
【請求項２８】
固定ベースに回転可能に連結されたＬＩＤＡＲシステムを用いて、光を送信する工程と反射光を検出する工程とにより複数の測距測定を実行して、視野角内に分布する複数のＬＩＤＡＲピクセルを含むＬＩＤＡＲ画像を取得する工程と、
複数のカメラを用いて、複数のカラーピクセルを含む複数のカラー画像を取得する工程と、
前記複数のＬＩＤＡＲピクセルのそれぞれと前記複数のカラーピクセルのそれぞれとの間の空間的対応を決定する工程と、
前記カラーピクセルを空間的に対応するＬＩＤＡＲピクセルと組み合わせて色付けされたＬＩＤＡＲピクセルを生成する工程と、
前記色付けされたＬＩＤＡＲピクセルをユーザインタフェースに提供する工程と、
を備え、
前記複数のカメラの各カメラは、前記視野角の一部分であるそれぞれのカメラ視野を有している
ことを特徴とする方法。
【請求項２９】
前記空間的対応を決定する工程は、
前記複数のＬＩＤＡＲピクセルと前記複数のカラーピクセルとの間のマッピングを定義するカラーピクセルルックアップテーブルを使用して、前記カラーピクセルを前記それぞれのＬＩＤＡＲピクセルに関連付ける工程
を有している
ことを特徴とする請求項２８に記載の方法。
【請求項３０】
前記カラーピクセルルックアップテーブルは、各回転について３６０度の角度位置によってインデックス付けされており、
前記カラーピクセルルックアップテーブルの各エントリは、ピクセルアレイ内の特定の角度位置及び特定のセンサに対するそれぞれのカラー画像の１または複数のカラーピクセルを特定する
ことを特徴とする請求項２９に記載の方法。
【請求項３１】
前記カラーピクセルルックアップテーブルは、前記ＬＩＤＡＲピクセルと前記カラーピクセルとの間のマッピングのための深度値を含み、
当該方法は、更に、
前記ＬＩＤＡＲピクセルの深度値を決定する工程
を備え、
前記カラーピクセルは、更に前記深度値に基づいて決定される
ことを特徴とする請求項２９に記載の方法。
【請求項３２】
前記色付けされたＬＩＤＡＲピクセルは、検出されたオブジェクトの経時的な３次元カラーマップを介して提供される
ことを特徴とする請求項２８に記載の方法。
【請求項３３】
前記カラーマップは、更に、特定のオブジェクトの特定のビューの特定の時間における距離値を含む
ことを特徴とする請求項３２に記載の方法。
【請求項３４】
前記複数のカラー画像を捕捉する工程は、
それぞれのカメラ視野に対する決定された角度位置に基づいて、前記複数のカラー画像の各々を捕捉して、前記ＬＩＤＡＲピクセルの一部分の捕捉を前記複数のカラーカメラのそれぞれのカメラのカラーピクセルの捕捉と同期させる工程
を含む
ことを特徴とする請求項２８に記載の方法。