【手続補正書】
【提出日】令和3年1月4日(2021.1.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
リアスティッチされたビューパノラマ（ＲＳＶＰ）システムであって、
プロセッサと、
ソフトウェア命令をストアするメモリと、
を含み、
前記ソフトウェア命令が、前記プロセッサによって実行されるとき、前記ＲＳＶＰシステムに、
車両の後方に搭載されるステレオカメラによって補足される左中央後方画像と右中央後方画像とのためのディスパリティマップを計算させ、
仮想カメラパラメータを用いて、前記車両の右側に搭載される右カメラによって捕捉される右後方画像と、前記車両の左側に搭載される左カメラによって捕捉される左後方画像と、前記左中央後方画像と前記右中央後方画像との基準中央後方画像と、前記ディスパリティマップとを仮想ワールドビューに変換させ、
前記変換されたディスパリティマップに基づいて前記変換された左後方画像と前記変換された基準中央後方画像との間の最適の左シームを計算させ、
前記変換されたディスパリティマップに基づいて前記変換された右後方画像と前記変換された基準中央後方画像との間の最適の右シームを計算させ、
パノラマを生成するために、前記最適の左シームに基づいて前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチさせ、前記最適の右シームに基づいて前記変換された右後方画像と前記変換された基準中央後方画像とをスティッチさせる、ＲＳＶＰシステム。
【請求項２】
請求項１に記載のＲＳＶＰシステムであって、
最適の左シームを計算するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
ワールドディスパリティマップを計算させ、
前記ワールドディスパリティマップと前記変換されたディスパリティマップとに基づいてワールドディスパリティ差異マップを計算させ、
第１の最小コストシームのために前記変換された左後方画像と前記変換された基準中央後方画像との間の重複領域を探索させ、
候補シームのコストが前記ワールドディスパリティ差異マップに基づいて計算される、ＲＳＶＰシステム。
【請求項３】
請求項２に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、前記変換されたディスパリティマップにおける有効な対応ディスパリティ値の数によって正規化される前記候補シームにおけるピクセルに対応する前記ワールドディスパリティ差異マップにおけるディスパリティ値の合計として候補シームのコストを計算させる、ＲＳＶＰシステム。
【請求項４】
請求項３に記載のＲＳＶＰシステムであって、
閾値より大きい、前記変換されたディスパリティマップにおけるディスパリティ値を有するピクセルが、前記合計に含まれない、ＲＳＶＰシステム。
【請求項５】
請求項２に記載のＲＳＶＰシステムであって、
重複領域を探索するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
最小コスト垂直シームに対する前記重複領域を探索させ、
前記最小コスト垂直シームの辺りの近隣において前記第１の最小コストシームに対する前記重複領域を探索させる、ＲＳＶＰシステム。
【請求項６】
請求項２に記載のＲＳＶＰシステムであって、
最適の左シームを計算するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
地面ディスパリティマップと前記変換されたディスパリティマップとに基づいて地面ディスパリティ差異マップを計算させ、
第２の最小コストシームに対して前記変換された左後方画像と前記変換された基準中央後方画像との間の前記重複領域を探索させ、
候補シームのコストが前記地面ディスパリティ差異マップに基づいて計算され、
前記最適の左シームが前記第１の最小コストシームと前記第２の最小コストシームとの最低コストシームである、ＲＳＶＰシステム。
【請求項７】
請求項１に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記最適の左シームと前記最適の右シームとに時間軸スムージングを適用させる、ＲＳＶＰシステム。
【請求項８】
請求項７に記載のＲＳＶＰシステムであって、
時間軸スムージングを適用するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記最適の左シームにおける全てのピクセルが前の最適の左シームの最小距離閾値内に在る場合に前記最適の左シームを前記前の最適の左シームに設定させ、
前記最適の右シームにおける全てのピクセルが前の最適の右シームの前記最小距離閾値内に在る場合に前記最適の右シームを前記前の最適の右シームに設定させ、
前記最適の左シームにおける任意のピクセルが前記前の最適の左シームから離れてピクセルの最大距離閾値数より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の左シームをスケーリングさせ、
前記最適の右シームにおける任意のピクセルが前記前の最適の右シームから離れて前記最大距離閾値より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の右シームをスケーリングさせる、ＲＳＶＰシステム。
【請求項９】
請求項１に記載のＲＳＶＰシステムであって、
前記変換された左後方画像をスティッチするために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記変換された左後方画像と前記変換された基準中央後方画像とを結合するために、アルファブレンディング係数を含むブレンディングルックアップテーブル（ＬＵＴ）を計算させ、
前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチするために、前記ブレンディングＬＵＴを用いさせる、ＲＳＶＰシステム。
【請求項１０】
請求項１に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記ＲＳＶＰシステムに結合される物体検出モダリティが左死角ゾーンにおける物体の存在を示すときに、前記最適の左シームをバイアスさせ、
前記バイアスによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、ＲＳＶＰシステム。
【請求項１１】
請求項１に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記ＲＳＶＰシステムに結合される物体検出モダリティが右死角ゾーンにおける物体の存在を示すときに、前記最適の右シームをバイアスさせ、
前記バイアスによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、ＲＳＶＰシステム。
【請求項１２】
リアスティッチされたビューパノラマを生成するための方法であって、
左中央後方画像と右中央後方画像とのためのディスパリティマップを計算することであって、前記左中央後方画像が車両の後方に搭載されるステレオカメラによって捕捉される、前記ディスパリティマップを計算することと、
仮想カメラパラメータを用いて、右後方画像と、左後方画像と、前記左中央後方画像と前記右中央後方画像との１つの基準中央後方画像と、前記ディスパリティマップとを仮想ワールドビューに変換することであって、前記右後方画像が前記車両の右側に搭載される右カメラによって捕捉され、前記左後方画像が前記車両の左側に搭載される左カメラによって捕捉される、前記変換することと、
前記変換されたディスパリティマップに基づいて前記変換された左後方画像と前記変換された基準中央後方画像との間の最適の左シームを計算することと、
前記変換されたディスパリティマップに基づいて前記変換された右後方画像と前記変換された基準中央後方画像との間の最適の右シームを計算することと、
パノラマを生成するために、前記最適の左シームに基づいて前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチし、前記最適の右シームに基づいて前記変換された右後方画像と前記変換された基準中央後方画像とをスティッチすることと、
を含む、方法。
【請求項１３】
請求項１２に記載の方法であって、
最適の左シームを計算することが、
ワールドディスパリティマップを計算することと、
前記ワールドディスパリティマップと前記変換されたディスパリティマップとに基づいてワールドディスパリティ差異マップを計算することと、
第１の最小コストシームに対して前記変換された左後方画像と前記変換された基準中央後方画像との間の重複領域を探索することと、
を含み、
候補シームのコストが前記ワールドディスパリティ差異マップに基づいて計算される、方法。
【請求項１４】
請求項１３に記載の方法であって、
候補シームのコストが、前記変換されたディスパリティマップにおける有効な対応ディスパリティ値の数によって正規化された前記候補シームにおけるピクセルに対応する前記ワールドディスパリティ差異マップにおけるディスパリティ値の合計として計算される、方法。
【請求項１５】
請求項１４に記載の方法であって、
閾値より大きい、前記変換されたディスパリティマップにおけるディスパリティ値を有するピクセルが、前記合計に含まれない、方法。
【請求項１６】
請求項１３に記載の方法であって、
重複領域を探索することが、
最小コスト垂直シームに対して前記重複領域を探索することと、
最小コスト垂直シームの辺りの近隣において前記第１の最小コストシームに対して前記重複領域を探索することと、
を含む、方法。
【請求項１７】
請求項１３に記載の方法であって、
最適の左シームを計算することが、
地面ディスパリティマップと前記変換されたディスパリティマップとに基づいて地面ディスパリティ差異マップを計算することと、
第２の最小コストシームに対して前記変換された左後方画像と前記変換された基準中央後方画像との間の前記重複領域を探索することと、
を更に含み、
候補シームのコストが前記地面ディスパリティ差異マップに基づいて計算され、
前記最適の左シームが前記第１の最小コストシームと前記第２の最小コストシームとの最低コストシームである、方法。
【請求項１８】
請求項１２に記載の方法であって、
前記最適の左シーム及び前記最適の右シームに時間軸スムージングを適用することを更に含む、方法。
【請求項１９】
請求項１８に記載の方法であって、
時間軸スムージングを適用することが、
前記最適の左シームにおける全てのピクセルが前の最適の左シームの最小距離閾値内に在る場合に、前記最適の左シームを前記前の最適の左シームに設定することと、
前記最適の右シームにおける全てのピクセルが前の最適の右シームの前記最小距離閾値内に在る場合に、前記最適の右シームを前記前の最適の右シームに設定することと、
前記最適の左シームにおける任意のピクセルが前記前の最適の左シームから離れて最大距離閾値より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の左シームをスケーリングすることと、
前記最適の右シームにおける任意のピクセルが前記前の最適の右シームから離れて前記最大距離閾値より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の右シームをスケーリングすることと、
を含む、方法。
【請求項２０】
請求項１２に記載の方法であって、
前記変換された左後方画像をスティッチすることが、
前記変換された左後方画像と前記変換された基準中央後方画像とを結合するために、アルファブレンディング係数を含むブレンディングルックアップテーブル（ＬＵＴ）を計算することと、
前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチするために、前記ブレンディングＬＵＴを用いることと、
を含む、方法。
【請求項２１】
請求項１２に記載の方法であって、
物体検出モダリティが左死角ゾーンにおける物体の存在を示すときに前記最適の左シームをバイアスすることを更に含み、
前記バイアスすることによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、方法。
【請求項２２】
請求項１２に記載の方法であって、
物体検出モダリティが右死角ゾーンにおける物体の存在を示すときに前記最適の右シー
ムをバイアスすることを更に含み、
前記バイアスすることによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、方法。