【手続補正書】
【提出日】令和2年11月12日(2020.11.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２つの画像に基づいて推定されるホモグラフィを生成するための方法であって、前記方法は、
第１のカメラ姿勢に基づく第１の画像を受信することと、
第２のカメラ姿勢に基づく第２の画像を受信することと、
前記第１の画像および前記第２の画像をニューラルネットワークの中に入力することと、
前記ニューラルネットワークによって、前記第１の画像および前記第２の画像に基づいて推定されるホモグラフィを生成することであって、前記ニューラルネットワークは、
複数の画像を受信すること、および、
前記複数の画像の個々の画像毎に、
前記個々の画像内の位置を識別することと、
前記位置における前記個々の画像のサブセットを識別することであって、前記個々の画像のサブセットは、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、前記個々の画像の修正されたサブセットを定義する、ことと、
前記個々の画像のサブセットと前記個々の画像の修正されたサブセットとの間の比較に基づいて、ホモグラフィを決定することと、
前記ホモグラフィを前記個々の画像に適用することによって、変換された画像を生成することと、
前記位置における前記変換された画像のサブセットを識別することと、
前記個々の画像のサブセットと前記変換された画像のサブセットとに基づいて特定の推定されるホモグラフィを生成することと、
前記特定の推定されるホモグラフィと前記ホモグラフィを比較することと、
前記比較に基づいて、前記ニューラルネットワークを修正することと
を実行すること
によって事前に訓練されている、ことと
を含む、方法。
【請求項２】
前記個々の画像のサブセット、前記変換された画像のサブセット、および前記ホモグラフィを前記ニューラルネットワークに送信すること
をさらに含む、請求項１に記載の方法。
【請求項３】
前記変換された画像のサブセットが境界アーチファクトを含まないことを決定すること
をさらに含む、請求項１に記載の方法。
【請求項４】
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、請求項１に記載の方法。
【請求項５】
前記個々の画像内の位置を識別することは、前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記個々の画像外に延在しないように、前記個々の画像内の位置をランダムに選択することを含む、請求項４に記載の方法。
【請求項６】
前記ホモグラフィを前記個々の画像に適用することによって前記変換された画像を生成することは、
前記ホモグラフィの逆を前記個々の画像に適用し、前記変換された画像を生成すること
を含む、請求項１に記載の方法。
【請求項７】
ニューラルネットワークを訓練するための方法であって、前記方法は、
複数の画像を受信すること、および、
前記複数の画像の個々の画像毎に、
前記個々の画像のサブセット、変換された画像のサブセット、および前記個々の画像のサブセットと前記変換された画像のサブセットとに基づくホモグラフィを含む、訓練トリプレットを生成することと、
前記ニューラルネットワークによって、前記個々の画像のサブセットと前記変換された画像のサブセットとに基づいて推定されるホモグラフィを生成することと、
前記推定されるホモグラフィと前記ホモグラフィを比較することと、
前記比較に基づいて、前記ニューラルネットワークを修正することと
を実行すること
を含む、方法。
【請求項８】
前記訓練トリプレットを生成することは、
前記個々の画像内の位置を識別することと、
前記位置における前記個々の画像のサブセットを識別することであって、前記個々の画像のサブセットは、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、前記個々の画像の修正されたサブセットを定義する、ことと、
前記画像のサブセットと前記画像の修正されたサブセットとの間の比較に基づいて、前記ホモグラフィを決定することと、
前記ホモグラフィを前記個々の画像に適用することによって、前記変換された画像を生成することと、
前記位置における前記変換された画像のサブセットを識別することと
を含む、請求項７に記載の方法。
【請求項９】
前記画像のサブセット、前記変換された画像のサブセット、および前記ホモグラフィを前記ニューラルネットワークに送信すること
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記変換された画像のサブセットが境界アーチファクトを含まないことを決定すること
をさらに含む、請求項８に記載の方法。
【請求項１１】
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、請求項８に記載の方法。
【請求項１２】
前記画像内の位置を識別することは、前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記画像外に延在しないように、前記画像内の位置をランダムに選択することを含む、請求項１１に記載の方法。
【請求項１３】
前記ホモグラフィを前記画像に適用することによって前記変換された画像を生成することは、
前記ホモグラフィの逆を前記画像に適用し、前記変換された画像を生成すること
を含む、請求項８に記載の方法。