【手続補正書】
【提出日】令和1年12月24日(2019.12.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
サラウンドビューを単一表示スクリーン上に表示する方法であって、
対応する複数のカメラから特定時間についての複数の画像フレームを受信することと、
事前定義された第１の仮想ビューポイントに対応する第１のワープマップを選択することであって、前記ワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶され、前記複数のカメラの間の位置における差に対処するために前記第１のワープマップが較正パラメータと組み合わされる、前記第１のワープマップを選択することと、
前記第１のワープマップに従って、前記複数の画像フレームからの前記出力画像の各ピクセルについてピクセルデータを選択することによって、前記表示スクリーンのための出力画像を合成することと、
前記出力画像を前記表示スクリーン上に表示することと、
を含む、方法。
【請求項２】
請求項１に記載の方法であって、
前記表示スクリーン上にビデオシーケンスを生成するために、複数の異なる事前定義された仮想ビューポイントに対応する複数の事前定義されたワープマップのうちの異なるマップを逐次的に選択することを更に含む、方法。
【請求項３】
請求項１に記載の方法であって、
前記複数のカメラが車両上に搭載され、
前記方法が、第１の車両画像を選択してこれを前記出力画像上に重ねることを更に含み、
前記第１の車両画像が、前記第１のビューポイントに対応するモデル車両から予め抽出されて後の使用のために記憶されている、方法。
【請求項４】
請求項１に記載の方法であって、
前記出力画像を合成することが、前記第１のワープマップを用いてレンズ歪みを補正するために各画像フレームをワープすることによって前記複数のカメラの各々に対応する別個の仮想ビューをレンダリングし、
前記方法が、前記出力画像を形成するために前記別個の仮想ビューのうちの２つ又はそれ以上をスティッチングしてブレンディングすることを更に含む、方法。
【請求項５】
サラウンドビューを単一表示スクリーン上に表示する方法であって、
車両上に搭載される対応する複数のカメラから特定の時間についての複数の画像フレームを受信することと、
試験台における複数の試験カメラを用いて生成され、事前定義された第１の仮想ビューポイントに対応する第１のワープマップを選択することであって、前記第１のワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶され、前記複数のカメラの間の位置における差に対処するために前記第１のワープマップが較正パラメータと組み合わされる、前記選択することと、
前記第１のワープマップに従って、前記複数の画像フレームからの前記出力画像の各ピクセルについてピクセルデータを選択することによって、前記表示スクリーンのための出力画像を合成することと、
前記出力画像を前記表示スクリーン上に表示することと、
を含む、方法。
【請求項６】
サラウンドビューを単一表示スクリーン上に表示する方法であって、
車両上に搭載される対応する複数のカメラから特定の時間についての複数の画像フレームを受信することと、
試験台における複数の試験カメラを用いて生成され、事前定義された第１の仮想ビューポイントに対応する第１のワープマップを選択することであって、前記第１のワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶され、オフラインセットアッププロセスの間に前記複数のカメラと前記複数の試験カメラのうちの対応する試験カメラとの間の位置の差に対処するために前記第１のワープマップが較正パラメータと組み合わされる、前記選択することと、
前記第１のワープマップに従って、前記複数の画像フレームからの前記出力画像の各ピクセルについてピクセルデータを選択することによって、前記表示スクリーンのための出力画像を合成することと、
前記出力画像を前記表示スクリーン上に表示することと、
を含む、方法。
【請求項７】
サラウンドビューを単一表示スクリーン上に表示する方法であって、
車両上に搭載される対応する複数のカメラから特定の時間についての複数の画像フレームを受信することと、
試験台における複数の試験カメラを用いて生成され、事前定義された第１の仮想ビューポイントに対応する第１のワープマップを選択することであって、前記第１のワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶される、前記選択することと、
前記第１のワープマップを形成するために前記車両上に搭載される処理モジュールを用いて、前記複数のカメラと前記複数の試験カメラのうちの対応する試験カメラとの間の位置の差に対処するために、第１のローワープマップを較正パラメータと組み合わせることと、
を含む、方法。
【請求項８】
請求項７に記載の方法であって、
前記第１のワープマップが前記車両上に配置される不揮発性メモリに記憶される、方法。
【請求項９】
サラウンドビューを単一表示スクリーン上に表示する方法であって、
３次元（３Ｄ）ビューを表すビュー表面を定義することと、
前記ビュー表面から画像を捕捉するために複数の試験カメラを適所に位置決めすることと、
第１の仮想ビューポイントについて第１のワープマップを発生することであって、前記第１の仮想ビューポイントに対応する出力フレームにおける２次元（２Ｄ）ピクセル位置からの光線を前記ビュー表面と交差するようにキャスティングすることと、その光線を前記複数の試験カメラのうちの１つにおける対応するピクセル位置にマッピングすることと、前記光線をキャスティングすることと前記光線を前記出力フレームの各２Ｄピクセル位置についてマッピングすることとを反復することとを含む、前記第１のワープマップを発生することと、
前記第１のワープマップを後の使用のために記憶することであって、オフラインセットアッププロセスの間に前記複数のカメラと前記複数の試験カメラのうちの対応する試験カメラとの間の位置の差に対処するために前記第１のワープマップが較正パラメータと組み合わされる、前記記憶することと、
を含む、方法。
【請求項１０】
請求項９に記載の方法であって、
複数の仮想ビューポイントに対応する複数のワープマップを発生させて前記複数のワープマップを後の使用のために記憶することを更に含む、方法。
【請求項１１】
請求項１０に記載の方法であって、
前記複数のカメラが車両上に搭載するために位置決めされ、
前記方法が、
前記複数の仮想ビューポイントからモデル車両の複数の車両画像を抽出することと、
前記複数の車両画像を、前記複数のワープマップのうちの対応するワープマップと共に後の使用のために記憶することと、
を更に含む、方法。
【請求項１２】
サラウンドビューを単一表示スクリーン上に表示する方法であって、
３次元（３Ｄ）ビューを表すビュー表面を定義することと、
前記ビュー表面から画像を捕捉するために複数の試験カメラを適所に位置決めすることと、
第１の仮想ビューポイントについて第１のワープマップを発生することであって、複数のワープマップを発生するために、前記第１の仮想ビューポイントに対応する出力フレームにおける２次元（２Ｄ）ピクセル位置からの光線を前記ビュー表面と交差するようにキャスティングすることと、その光線を前記複数の試験カメラのうちの１つにおける対応するピクセル位置にマッピングすることと、前記光線をキャスティングすることと前記光線を前記出力フレームの各２Ｄピクセル位置についてマッピングすることとを反復することとを含む、前記第１のワープマップを発生することと、
前記第１のワープマップを後の使用のために記憶することと、
前記複数のワープマップを第１の車両上の処理システムに記憶することと、
前記第１の車両上に搭載される複数のライブカメラについて、前記複数のライブカメラと前記複数の試験カメラのうちの対応する試験カメラとの間の位置の差に対処するために、カメラ較正パラメータのセットを決定することと、
複数の較正されたワープマップを形成するために、前記カメラ較正パラメータのセットを用いて前記複数のワープマップを更新することと、
前記較正されたワープマップのセットを後の使用のために前記車両の前記処理システムに記憶することと、
を含む、方法。
【請求項１３】
３Ｄサラウンドビューシステムであって、
車両と、
前記車両上に搭載される複数のカメラと、
前記車両のドライバーにより見られる前記車両上に搭載される表示スクリーンと、
前記複数のカメラから特定時間について複数の画像フレームを受信するように結合され、前記表示スクリーンに出力画像を提供するように結合される出力を有する画像処理システムであって、事前定義された第１の仮想ビューポイントに対応し、前記複数のカメラの間の位置における差に対処するために較正パラメータと組み合わされる、第１のワープマップを選択するように構成され、前記第１のワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶され、各画像フレームに対応する別個の仮想ビューを形成するために前記第１のワープマップを用いてレンズ歪みを補正するように各画像フレームをワープすることによって前記表示スクリーンについて前記出力画像を合成するように更に構成される、前記画像処理システムと、
を含む、３Ｄサラウンドビューシステム。
【請求項１４】
請求項１３に記載のシステムであって、
前記画像処理システムが、前記出力画像を形成するために、前記別個の仮想ビューのうちの２つ又はそれ以上をスティッチングしてブレンディングするように更に構成される、システム。
【請求項１５】
請求項１３に記載のシステムであって、
前記画像処理システムが、前記表示スクリーン上にビデオシーケンスを生成するために、複数の異なる事前定義された仮想ビューポイントに対応する複数の事前定義されたワープマップのうちの異なるワープマップを逐次的に選択するように更に構成される、システム。
【請求項１６】
請求項１３に記載のシステムであって、
前記画像処理システムが、第１の車両画像を選択してこれを前記出力画像上に重ねるように更に構成され、前記第１の車両画像が、前記第１のビューポイントに対応するモデル車両から予め抽出されて後の使用のために記憶されている、システム。
【請求項１７】
３Ｄサラウンドビューシステムであって、
車両と、
前記車両上に搭載される複数のカメラと、
前記車両のドライバーにより見られる前記車両上に搭載される表示スクリーンと、
前記複数のカメラから特定時間について複数の画像フレームを受信するように結合され、前記表示スクリーンに出力画像を提供するように結合される出力を有する画像処理システムであって、事前定義された第１の仮想ビューポイントに対応し、試験台における複数の試験カメラを用いて生成され、前記複数のカメラの間の位置における差に対処するために較正パラメータと組み合わされる、第１のワープマップを選択するように構成され、前記第１のワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶され、各画像フレームに対応する別個の仮想ビューを形成するために前記第１のワープマップを用いてレンズ歪みを補正するように各画像フレームをワープすることによって前記表示スクリーンについて前記出力画像を合成するように更に構成される、前記画像処理システムと、
を含む、システム。
【請求項１８】
３Ｄサラウンドビューシステムであって、
車両と、
前記車両上に搭載される複数のカメラと、
前記車両のドライバーにより見られる前記車両上に搭載される表示スクリーンと、
前記複数のカメラから特定時間について複数の画像フレームを受信するように結合され、前記表示スクリーンに出力画像を提供するように結合される出力を有する画像処理システムであって、試験台における複数の試験カメラを用いて生成され、オフラインセットアッププロセスの間に前記複数のカメラと前記複数の試験カメラのうちの対応する試験カメラとの間の位置の差に対処するために較正パラメータと組み合わされ、事前定義された第１の仮想ビューポイントに対応する、第１のワープマップを選択するように構成され、前記第１のワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶され、各画像フレームに対応する別個の仮想ビューを形成するために前記第１のワープマップを用いてレンズ歪みを補正するように各画像フレームをワープすることによって前記表示スクリーンについて前記出力画像を合成するように更に構成される、前記画像処理システムと、
を含む、システム。
【請求項１９】
３Ｄサラウンドビューシステムであって、
車両と、
前記車両上に搭載される複数のカメラと、
前記車両のドライバーにより見られる前記車両上に搭載される表示スクリーンと、
前記複数のカメラから特定時間について複数の画像フレームを受信するように結合され、前記表示スクリーンに出力画像を提供するように結合される出力を有する画像処理システムであって、試験台における複数の試験カメラを用いて生成され、事前定義された第１の仮想ビューポイントに対応する、第１のワープマップを選択するように構成され、前記第１のワープマップが前記表示スクリーンにおける各出力ピクセル位置について前記複数の画像フレームにおけるソースピクセル位置を定義し、前記第１のワープマップが事前定義されて後の使用のために記憶され、前記第１のワープマップを形成するために前記車両上に搭載される処理モジュールを用いて前記複数のカメラと前記複数の試験カメラのうちの対応する試験カメラとの間の位置の差に対処するために第１のローワープマップを較正パラメータと組み合わせ、各画像フレームに対応する別個の仮想ビューを形成するために前記第１のワープマップを用いてレンズ歪みを補正するように各画像フレームをワープすることによって前記表示スクリーンについて前記出力画像を合成するように更に構成される、前記画像処理システムと、
を含む、システム。
【請求項２０】
請求項１９に記載のシステムであって、
前記第１のワープマップが前記車両上に配置される不揮発性メモリに記憶される、システム。