【手続補正書】
【提出日】令和2年7月28日(2020.7.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
深度マップ画像を処理するように構成されているハンドヘルド移動体デバイスにおいて、
シーンの深度マップ画像を捕捉するように構成されている深度カメラと、
カメラに入る光を直線的に偏光するように構成されている直線偏光ユニットを含むカメラと、
プロセッサとを具備し、
前記カメラは、前記シーンの捕捉の間、前記直線偏光ユニットを回転させ、異なる偏光方向を有する前記シーンの直線偏光画像のシーケンスを発生させるように構成され、
前記プロセッサは、
前記直線偏光画像のシーケンスに関して、画像登録を実行し、整列した直線偏光画像のシーケンスを発生させ、
前記深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、向上した深度マップ画像を発生させるように構成されているハンドヘルド移動体デバイス。
【請求項２】
前記プロセッサは、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定するようにさらに構成され、
前記プロセッサは、前記深度マップ画像と、前記整列した直線偏光画像のシーケンスと、前記決定した偏光方向とに基づいて、前記向上した深度マップ画像を発生させるように構成されている請求項１記載のハンドヘルド移動体デバイス。
【請求項３】
前記カメラは、連続する直線偏光画像間の偏光方向における差が固定されるように、前記直線偏光ユニットの回転と前記直線偏光画像のシーケンスの捕捉とを同期させるようにさらに構成され、
前記プロセッサは、前記直線偏光画像のシーケンスのそれぞれに対して固定した偏光方向として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定するように構成されている請求項２記載のハンドヘルド移動体デバイス。
【請求項４】
前記プロセッサは、前記直線偏光画像のシーケンスのそれぞれの捕捉のときの、前記直線偏光ユニットの回転の範囲の関数として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定するように構成されている請求項２記載のハンドヘルド移動体デバイス。
【請求項５】
前記移動体デバイスの移動、方向、および、ロケーションのうちの１つ以上を表すセンサデータを発生させるように構成されている１つ以上のセンサをさらに具備し、
前記プロセッサは、前記センサデータに基づいて、前記直線偏光画像のシーケンス関して、前記画像登録を実行し、前記整列した直線偏光画像のシーケンスを発生させるように構成されている請求項１記載のハンドヘルド移動体デバイス。
【請求項６】
前記カメラは、前記直線偏光ユニットを回転させるように構成されているモーターを備える請求項１記載のハンドヘルド移動体デバイス。
【請求項７】
前記直線偏光ユニットは、直線偏光レンズまたは直線偏光フィルタのうちの１つを含む請求項１記載のハンドヘルド移動体デバイス。
【請求項８】
前記プロセッサは、
前記直線偏光画像のシーケンスと前記深度マップ画像とに関して、前記画像登録を実行し、整列した直線偏光画像のシーケンスと整列した深度マップ画像とを発生させ、
前記整列した深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、前記向上した深度マップ画像を発生させるように構成されている請求項１記載のハンドヘルド移動体デバイス。
【請求項９】
前記プロセッサは、前記向上した深度マップ画像に基づいて、前記シーンのうちの少なくとも１つの態様の三次元モデルを構築するようにさらに構成されている請求項１記載のハンドヘルド移動体デバイス。
【請求項１０】
ハンドヘルド移動体デバイスにおいて深度マップ画像を処理する方法において、
前記ハンドヘルド移動体デバイスの深度カメラによって、シーンの深度マップ画像を捕捉することと、
前記ハンドヘルド移動体デバイスのカラーカメラによって、前記シーンの捕捉の間、前記ハンドヘルド移動体デバイスの直線偏光ユニットを回転させ、異なる偏光方向を有する前記シーンの直線偏光画像のシーケンスを発生させることと、
前記ハンドヘルド移動体デバイスのプロセッサにおいて、前記直線偏光画像のシーケンスに関して、画像登録を実行し、整列した直線偏光画像のシーケンスを発生させることと、
前記ハンドヘルド移動体デバイスのプロセッサによって、前記深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、向上した深度マップ画像を発生させることとを含む方法。
【請求項１１】
前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定することをさらに含み、
前記向上した深度マップ画像を発生させることは、前記深度マップ画像と、前記整列した直線偏光画像のシーケンスと、前記決定した偏光方向とに基づいて、前記向上した深度マップ画像を発生させることを含む請求項１０記載の方法。
【請求項１２】
連続する直線偏光画像間の偏光方向における差が固定されるように、前記直線偏光ユニットの回転と前記直線偏光画像のシーケンスの捕捉とを同期させることをさらに含み、
前記偏光方向を決定することは、前記直線偏光画像のシーケンスのそれぞれに対して固定した偏光方向として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定することを含む請求項１１記載の方法。
【請求項１３】
前記偏光方向を決定することは、前記直線偏光画像のシーケンスのそれぞれの捕捉のときの、前記直線偏光ユニットの回転の範囲の関数として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定することを含む請求項１１記載の方法。
【請求項１４】
前記移動体デバイスの移動、方向、および、ロケーションのうちの１つ以上を表すセンサデータを取得することをさらに含み、
前記画像登録を実行することは、前記センサデータに基づいて、前記直線偏光画像のシーケンス関して、前記画像登録を実行し、前記整列した直線偏光画像のシーケンスを発生させることを含む請求項１０記載の方法。
【請求項１５】
命令を記憶している非一時的コンピュータ読取可能記憶媒体において、
前記命令は、実行されるとき、ハンドヘルド移動体デバイスの１つ以上のプロセッサに、請求項１０から１４のうちのいずれかの方法を実行させる非一時的コンピュータ読取可能記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
［００７８］
さまざまな例を説明してきた。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］  深度マップ画像を処理するように構成されている移動体デバイスにおいて、
シーンの深度マップ画像を捕捉するように構成されている深度カメラと、
カメラに入る光を直線的に偏光するように構成されている直線偏光ユニットを含むカメラと、
プロセッサとを具備し、
前記カメラは、前記シーンの捕捉の間、前記直線偏光ユニットを回転させ、異なる偏光方向を有する前記シーンの直線偏光画像のシーケンスを発生させるように構成され、
前記プロセッサは、
前記直線偏光画像のシーケンスに関して、画像登録を実行し、整列した直線偏光画像のシーケンスを発生させ、
前記深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、向上した深度マップ画像を発生させるように構成されている移動体デバイス。
［２］  前記プロセッサは、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定するようにさらに構成され、
前記プロセッサは、前記深度マップ画像と、前記整列した直線偏光画像のシーケンスと、前記決定した偏光方向とに基づいて、前記向上した深度マップ画像を発生させるように構成されている［１］記載の移動体デバイス。
［３］  前記カメラは、連続する直線偏光画像間の偏光方向における差が固定されるように、前記直線偏光ユニットの回転と前記直線偏光画像のシーケンスの捕捉とを同期させるようにさらに構成され、
前記プロセッサは、前記直線偏光画像のシーケンスのそれぞれに対して固定した偏光方向として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定するように構成されている［２］記載の移動体デバイス。
［４］  前記プロセッサは、前記直線偏光画像のシーケンスのそれぞれの捕捉のときの、前記直線偏光ユニットの回転の範囲の関数として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定するように構成されている［２］記載の移動体デバイス。
［５］  前記移動体デバイスの移動、方向、および、ロケーションのうちの１つ以上を表すセンサデータを発生させるように構成されている１つ以上のセンサをさらに具備し、
前記プロセッサは、前記センサデータに基づいて、前記直線偏光画像のシーケンス関して、前記画像登録を実行し、前記整列した直線偏光画像のシーケンスを発生させるように構成されている［１］記載の移動体デバイス。
［６］  前記カメラは、前記直線偏光ユニットを回転させるように構成されているモーターを備える［１］記載の移動体デバイス。
［７］  前記直線偏光ユニットは、直線偏光レンズまたは直線偏光フィルタのうちの１つを含む［１］記載の移動体デバイス。
［８］  前記プロセッサは、
前記直線偏光画像のシーケンスと前記深度マップ画像とに関して、前記画像登録を実行し、整列した直線偏光画像のシーケンスと整列した深度マップ画像とを発生させ、
前記整列した深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、前記向上した深度マップ画像を発生させるように構成されている［１］記載の移動体デバイス。
［９］  前記プロセッサは、前記向上した深度マップ画像に基づいて、前記シーンのうちの少なくとも１つの態様の三次元モデルを構築するようにさらに構成されている［１］記載の移動体デバイス。
［１０］  深度マップ画像を処理する方法において、
深度カメラによって、シーンの深度マップ画像を捕捉することと、
カラーカメラによって、前記シーンの捕捉の間、直線偏光ユニットを回転させ、異なる偏光方向を有する前記シーンの直線偏光画像のシーケンスを発生させることと、
前記直線偏光画像のシーケンスに関して、画像登録を実行し、整列した直線偏光画像のシーケンスを発生させることと、
前記深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、向上した深度マップ画像を発生させることとを含む方法。
［１１］  前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定することをさらに含み、
前記向上した深度マップ画像を発生させることは、前記深度マップ画像と、前記整列した直線偏光画像のシーケンスと、前記決定した偏光方向とに基づいて、前記向上した深度マップ画像を発生させることを含む［１０］記載の方法。
［１２］  連続する直線偏光画像間の偏光方向における差が固定されるように、前記直線偏光ユニットの回転と前記直線偏光画像のシーケンスの捕捉とを同期させることをさらに含み、
前記偏光方向を決定することは、前記直線偏光画像のシーケンスのそれぞれに対して固定した偏光方向として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定することを含む［１１］記載の方法。
［１３］  前記偏光方向を決定することは、前記直線偏光画像のシーケンスのそれぞれの捕捉のときの、前記直線偏光ユニットの回転の範囲の関数として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定することを含む［１１］記載の方法。
［１４］  移動体デバイスの移動、方向、および、ロケーションのうちの１つ以上を表すセンサデータを取得することをさらに含み、
前記画像登録を実行することは、前記センサデータに基づいて、前記直線偏光画像のシーケンス関して、前記画像登録を実行し、前記整列した直線偏光画像のシーケンスを発生させることを含む［１０］記載の方法。
［１５］  前記直線偏光ユニットを回転させることをさらに含む［１０］記載の方法。
［１６］  前記直線偏光ユニットは、直線偏光レンズまたは直線偏光フィルタのうちの１つを含む［１０］記載の方法。
［１７］  前記画像登録を実行することは、前記直線偏光画像のシーケンスと前記深度マップ画像とに関して、前記画像登録を実行し、整列した直線偏光画像のシーケンスと整列した深度マップ画像とを発生させることを含み、
前記向上した深度マップ画像を発生させることは、前記整列した深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、前記向上した深度マップ画像を発生させることを含む［１０］記載の方法。
［１８］  前記向上した深度マップ画像に基づいて、前記シーンのうちの少なくとも１つの態様の三次元モデルを構築することをさらに含む［１０］記載の方法。
［１９］  深度マップ画像を処理するように構成されているデバイスにおいて、
シーンの深度マップ画像を捕捉する手段と、
異なる偏光方向を有する前記シーンの直線偏光画像のシーケンスを捕捉する手段と、
前記直線偏光画像のシーケンスに関して、画像登録を実行し、整列した直線偏光画像のシーケンスを発生させる手段と、
前記深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、向上した深度マップ画像を発生させる手段とを具備するデバイス。
［２０］  前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定する手段をさらに具備し、
前記向上した深度マップ画像を発生させる手段は、前記深度マップ画像と、前記整列した直線偏光画像のシーケンスと、前記決定した偏光方向とに基づいて、前記向上した深度マップ画像を発生させる手段を備える［１９］記載のデバイス。
［２１］  連続する直線偏光画像間の偏光方向における差が固定されるように、直線偏光ユニットの回転と前記直線偏光画像のシーケンスの捕捉とを同期させる手段をさらに具備し、
前記偏光方向を決定する手段は、前記直線偏光画像のシーケンスのそれぞれに対して固定した偏光方向として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定する手段を備える［２０］記載のデバイス。
［２２］  前記偏光方向を決定する手段は、前記直線偏光画像のシーケンスのそれぞれの捕捉のときの、直線偏光ユニットの回転の範囲の関数として、前記直線偏光画像のシーケンスのそれぞれの偏光方向を決定する手段を備える［２０］記載のデバイス。
［２３］  移動体デバイスの移動、方向、および、ロケーションのうちの１つ以上を表すセンサデータを取得する手段をさらに具備し、
前記画像登録を実行する手段は、前記センサデータに基づいて、前記直線偏光画像のシーケンス関して、前記画像登録を実行し、前記整列した直線偏光画像のシーケンスを発生させる手段を備える［１９］記載のデバイス。
［２４］  直線偏光ユニットを回転させる手段をさらに具備する［１９］記載のデバイス。
［２５］  直線偏光ユニットは、直線偏光レンズまたは直線偏光フィルタのうちの１つを含む［１９］記載のデバイス。
［２６］  前記画像登録を実行する手段は、前記直線偏光画像のシーケンスと前記深度マップ画像とに関して、前記画像登録を実行し、整列した直線偏光画像のシーケンスと整列した深度マップ画像とを発生させる手段を備え、
前記向上した深度マップ画像を発生させる手段は、前記整列した深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、前記向上した深度マップ画像を発生させる手段を含む［１９］記載のデバイス。
［２７］  前記向上した深度マップ画像に基づいて、前記シーンのうちの少なくとも１つの態様の三次元モデルを構築する手段をさらに具備する［１９］記載のデバイス。
［２８］  命令を記憶している非一時的コンピュータ読取可能記憶媒体において、
前記命令は、実行されるとき、移動体デバイスの１つ以上のプロセッサに、
深度カメラとインターフェースさせて、シーンの深度マップ画像を捕捉させ、
カラーカメラとインターフェースさせて、異なる偏光方向を有する前記シーンの直線偏光画像のシーケンスを捕捉させ、
前記直線偏光画像のシーケンスに関して、画像登録を実行させて、整列した直線偏光画像のシーケンスを発生させ、
前記深度マップ画像と前記整列した直線偏光画像のシーケンスとに基づいて、向上した深度マップ画像を発生させる非一時的コンピュータ読取可能記憶媒体。