【手続補正書】
【提出日】平成30年7月19日(2018.7.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第1の画像センサと、
第2の画像センサと、
前記第1の画像センサからの第1の画像と、前記第2の画像センサからの第2の画像とを含む画像データを受信することであって、前記第1の画像および前記第2の画像が、画像シーンの少なくとも一部を表し、相互に関する局所的強度変化を示すことと、
前記第1の画像を画素の複数の第1のブロックに分割することと、
前記第2の画像を画素の複数の第2のブロックに分割することと、
対応するブロックのペアを決定することであって、対応するブロックの前記ペアが、前記複数の第1のブロックの識別された第1のブロックと、前記複数の第2のブロックの識別された第2のブロックとを含むことと、
前記第1の画像の前記識別された第1のブロックと、前記第2の画像の前記識別された第2のブロックとに含まれる画素の平坦化された局所的強度値を生成することであって、前記第1のブロックの画素の強度値のヒストグラムが前記第2のブロックの画素の強度値のヒストグラムにより密接に類似するよう変換されるように、前記第1のブロック内の画素の強度値を前記第2のブロック内の画素の強度値にマッピングすることを含むことと
を行うように構成された画像プロセッサと
を備える、画像キャプチャデバイス。
【請求項２】
前記第1の画像センサが第1の強度応答を有し、前記第2の画像センサが第2の強度応答を有し、前記第1の強度応答が前記第2の強度応答とは異なる、請求項1に記載のデバイス。
【請求項３】
前記第1の画像および前記第2の画像が前記局所的強度変化を示すことが、前記第1の画像がNIR画像を備えることと、前記第2の画像がRGB画像を備えることとに少なくとも部分的に基づく、請求項1に記載のデバイス。
【請求項４】
前記第1の画像および前記第2の画像が前記局所的強度変化を示すことが、前記第1の画像のキャプチャ中の前記画像シーンの第1の照明条件が、前記第2の画像のキャプチャ中の前記画像シーンの第2の照明条件とは異なることに少なくとも部分的に基づく、請求項1に記載のデバイス。
【請求項５】
前記識別された第1のブロックと前記識別された第2のブロックとに含まれる前記画素の前記平坦化された局所的強度値に少なくとも部分的に基づいて領域マッチングを実行するように、前記画像プロセッサを構成する命令を含むマッチングモジュールをさらに備える、請求項1に記載のデバイス。
【請求項６】
前記領域マッチングの結果に少なくとも部分的に基づいて奥行きマップを生成するように前記画像プロセッサを構成する命令を含む奥行きマップ構築モジュールをさらに備える、請求項5に記載のデバイス。
【請求項７】
前記第1の画像内の複数のキーポイントを識別するために、および前記第2の画像内の複数のキーポイントを識別するように、前記画像プロセッサを構成する命令を含む特徴検出モジュールをさらに備える、請求項1に記載のデバイス。
【請求項８】
前記第1の画像内の前記複数のキーポイントに少なくとも部分的に基づいて前記第1の画像を分割するために、および前記第2の画像内の前記複数のキーポイントに少なくとも部分的に基づいて前記第2の画像を分割するように前記画像プロセッサを構成する命令を含む重要な領域決定モジュールをさらに備える、請求項7に記載のデバイス。
【請求項９】
前記第1の画像センサと前記第2の画像センサとが、立体撮像システムまたはマルチスペクトル撮像システムのうちの1つの少なくとも一部として構成される、請求項1に記載のデバイス。
【請求項１０】
画像のセットを処理するための方法であって、
画像シーンの第1の画像を表す画像データを受信するステップと、
前記画像シーンの少なくとも一部の第2の画像を表す画像データを受信するステップであって、前記第2の画像が、前記第1の画像の局所的強度値に関する局所的強度値における変化を示す、ステップと、
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するステップと、
対応するブロックのペアを決定するステップであって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記第1の画像を表す前記画像データに含まれ、前記第2のブロックが前記第2の画像を表す前記画像データに含まれる、ステップと、
前記第1の画像の前記第1のブロックに含まれる画素と、前記第2の画像の前記第2のブロックに含まれる画素との平坦化された局所的強度値を生成するステップであって、前記第1のブロックの画素の強度値のヒストグラムが前記第2のブロックの画素の強度値のヒストグラムにより密接に類似するよう変換されるように、前記第1のブロック内の画素の強度値の、前記第2のブロック内の画素の強度値へのマッピングを生成するステップを備える、ステップと
を備える、方法。
【請求項１１】
非対称センサのペアから前記第1の画像と前記第2の画像とを受信するステップをさらに備える、請求項10に記載の方法。
【請求項１２】
NIR画像センサから前記第1の画像を受信し、前記第2の画像をRGB画像センサから受信するステップをさらに備える、請求項10に記載の方法。
【請求項１３】
平坦化された局所的強度値を生成するステップが、前記第1のブロックおよび前記第2のブロックごとに確率質量関数を決定するステップを備える、請求項10に記載の方法。
【請求項１４】
平坦化された局所的強度値を生成するステップが、前記第1のブロックおよび前記第2のブロックごとに累積質量関数を計算するために、前記第1のブロックおよび前記第2のブロックごとに前記確率質量関数における質量値を合計するステップを備える、請求項13に記載の方法。
【請求項１５】
平坦化された局所的強度値を生成するステップが、前記第2のブロック内の画素の強度値への前記第1のブロック内の画素の強度値の前記マッピングを生成するために、前記第1のブロックおよび前記第2のブロックごとに前記計算された累積質量関数を使用するステップを備える、請求項14に記載の方法。
【請求項１６】
平坦化された局所的強度値を生成するステップが、前記第1のブロックの前記画素の各々のために新しい輝度値を生成するために、前記強度値の前記マッピングに双線形補間を実行するステップをさらに備える、請求項15に記載の方法。
【請求項１７】
前記第1の画像および前記第2の画像の各々における複数のキーポイントを識別するステップをさらに備える、請求項10に記載の方法。
【請求項１８】
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するステップが、前記複数のキーポイントの位置、大きさ、形状、および数のうちの1つまたは複数に少なくとも部分的に基づく、請求項17に記載の方法。
【請求項１９】
対応するブロックの前記ペアを決定するステップが、前記第1のブロックおよび前記第2のブロックは、前記複数のキーポイントの同じキーポイントを表すと決定するステップを備える、請求項18に記載の方法。
【請求項２０】
前記平坦化された局所的強度値に少なくとも部分的に基づいて領域マッチングを実行するステップをさらに備える、請求項10に記載の方法。
【請求項２１】
前記領域マッチングの結果に少なくとも部分的に基づいて奥行きマップを構築するステップをさらに備える、請求項20に記載の方法。
【請求項２２】
実行されると、画像プロセッサに、
第1の画像センサと第2の画像センサとによってキャプチャされた2つ以上の画像を表す画像データを受信することと、
前記2つ以上の画像の各々を画素の複数のブロックに分割することと、
対応するブロックのペアを決定することであって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記2つ以上の画像のうちの第1の画像内に含まれ、前記第2のブロックが前記2つ以上の画像のうちの第2の画像内に含まれることと、
前記第1の画像の前記第1のブロックに含まれる画素と、前記第2の画像の前記第2のブロックに含まれる画素との平坦化された強度値を生成することであって、前記第1のブロックの画素の強度値のヒストグラムが前記第2のブロックの画素の強度値のヒストグラムにより密接に類似するよう変換されるように、前記第1のブロック内の画素の強度値を前記第2のブロック内の画素の強度値にマッピングすることを含むことと
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読記憶媒体。
【請求項２３】
前記動作が、前記第1の画像および前記第2の画像の各々における複数のキーポイントを識別するステップをさらに備える、請求項22に記載の非一時的コンピュータ可読記憶媒体。
【請求項２４】
前記動作が、前記平坦化された強度値に少なくとも部分的に基づいて領域マッチングを実行するステップをさらに備える、請求項22に記載の非一時的コンピュータ可読記憶媒体。
【請求項２５】
前記動作が、前記領域マッチングの結果に少なくとも部分的に基づいて立体奥行きマップを構築するステップをさらに備える、請求項24に記載の非一時的コンピュータ可読記憶媒体。
【請求項２６】
画像シーンの第1の画像を表す画像データを受信するための手段と、
前記画像シーンの少なくとも一部の第2の画像を表す画像データを受信するための手段であって、前記第2の画像が、前記第1の画像の局所的強度値に関する局所的強度値における変化を示す、手段と、
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するための手段と、
対応するブロックのペアを決定するための手段であって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記第1の画像を表す前記画像データに含まれ、前記第2のブロックが前記第2の画像を表す前記画像データに含まれる、手段と、
前記第1のブロックに含まれる画素と、前記第2のブロックに含まれる画素との平坦化された局所的強度値を生成するための手段であって、平坦化された局所的強度値を生成するための前記手段が、前記第1のブロックの画素の強度値のヒストグラムが、前記第2のブロックの画素の強度値のヒストグラムにより密接に類似するよう変換されるように、前記第2のブロック内の画素の強度値への前記第1のブロック内の画素の強度値のマッピングを生成するための手段を備える、手段とを備える、撮像装置。
【請求項２７】
前記第1の画像を表す画像データを受信するための前記手段がNIRセンサを備え、前記第2の画像を表す画像データを受信するための前記手段がRGBセンサを備える、請求項26に記載の装置。
【請求項２８】
前記第1の画像を表す画像データを受信するための前記手段と、前記第2の画像を表す画像データを受信するための前記手段とが、非対称画像センサのペアを備える、請求項26に記載の装置。
【請求項２９】
前記第1の画像を表す画像データを受信するための前記手段と、前記第2の画像を表す画像データを受信するための前記手段とが、単一の画像センサを備える、請求項26に記載の装置。
【請求項３０】
前記単一の画像センサが、異なる照明条件下で前記第1の画像と前記第2の画像とをキャプチャする、請求項29に記載の装置。