【手続補正書】
【提出日】令和2年3月12日(2020.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に基づいてニューラルネットワークのための入力を生成するための方法であって、前記方法は、
前記画像を受信することと、
前記画像内の位置を識別することと、
前記位置における前記画像のサブセットを定義することであって、前記画像のサブセットは、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、前記画像の修正されたサブセットを定義し、前記コーナーの第１のセットのうちの前記少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、ことと、
前記画像のサブセットと前記画像の修正されたサブセットとの間の比較に基づいて、ホモグラフィを決定することと、
前記ホモグラフィを前記画像に適用することによって、変換された画像を生成することと、
前記位置における前記変換された画像のサブセットを定義することと
を含む、方法。
【請求項２】
前記画像のサブセット、前記変換された画像のサブセット、および前記ホモグラフィを前記ニューラルネットワークに送信することをさらに含む、請求項１に記載の方法。
【請求項３】
前記変換された画像のサブセットが境界アーチファクトを含まないことを決定することをさらに含む、請求項１に記載の方法。
【請求項４】
前記画像内の位置を識別することは、
前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記画像外に延在しないように、前記画像内の位置をランダムに選択すること
を含む、請求項１に記載の方法。
【請求項５】
前記比較に基づいて前記ホモグラフィを決定することは、
前記コーナーの第１のセットと前記コーナーの第２のセットとの間の１つ以上の変位ベクトルを決定することであって、前記１つ以上の変位ベクトルの各々は、第１の次元および第２の次元における対応するコーナー間のオフセットを示す、こと
を含む、請求項１に記載の方法。
【請求項６】
前記ホモグラフィを前記画像に適用することによって前記変換された画像を生成することは、
前記ホモグラフィの逆を前記画像に適用し、前記変換された画像を生成すること
を含む、請求項１に記載の方法。
【請求項７】
画像に基づいてニューラルネットワークのための入力を生成するための方法であって、前記方法は、
前記画像を受信することと、
前記画像内の位置を識別することと、
前記位置における前記画像の第１のサブ画像を定義することであって、前記第１のサブ画像は、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、修正されたサブ画像を定義し、前記コーナーの第１のセットのうちの前記少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、ことと、
前記第１のサブ画像と前記修正されたサブ画像との間の比較に基づいて、ホモグラフィを決定することと、
前記ホモグラフィを前記画像に適用することによって、変換された画像を生成することと、
前記位置における前記変換された画像の第２のサブ画像を定義することと、
前記第１のサブ画像、前記第２のサブ画像、および前記ホモグラフィを前記ニューラルネットワークに送信することと
を含む、方法。
【請求項８】
前記第２のサブ画像が境界アーチファクトを含まないことを決定することをさらに含む、請求項７に記載の方法。
【請求項９】
前記画像内の位置を識別することは、前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記画像外に延在しないように、前記画像内の位置をランダムに選択することを含む、請求項７に記載の方法。
【請求項１０】
２つの画像に基づいて推定されるホモグラフィを生成するための方法であって、
第１のカメラ姿勢に基づく第１の画像を受信することと、
第２のカメラ姿勢に基づく第２の画像を受信することと、
前記第１の画像および前記第２の画像をニューラルネットワークの中に入力することと、
前記ニューラルネットワークによって、前記第１の画像および前記第２の画像に基づいて推定されるホモグラフィを生成することであって、前記ニューラルネットワークは、
複数の画像を受信することと、
前記複数の画像の個々の画像毎に、
前記個々の画像内の位置を識別することと、
前記位置における前記個々の画像のサブセットを識別することであって、前記個々の画像のサブセットは、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、前記個々の画像の修正されたサブセットを定義する、ことと、
前記個々の画像のサブセットと前記個々の画像の修正されたサブセットとの間の比較に基づいて、ホモグラフィを決定することと、
前記ホモグラフィを前記個々の画像に適用することによって、変換された画像を生成することと、
前記位置における前記変換された画像のサブセットを識別することと、
前記個々の画像のサブセットと前記変換された画像のサブセットとに基づいて特定の推定されるホモグラフィを生成することと、
前記特定の推定されるホモグラフィと前記ホモグラフィを比較することと、
前記比較に基づいて、前記ニューラルネットワークを修正することと
によって事前に訓練されている、ことと
を含む、方法。
【請求項１１】
前記個々の画像のサブセット、前記変換された画像のサブセット、および前記ホモグラフィを前記ニューラルネットワークに送信すること
をさらに含む、請求項１０に記載の方法。
【請求項１２】
前記変換された画像のサブセットが境界アーチファクトを含まないことを決定すること
をさらに含む、請求項１０に記載の方法。
【請求項１３】
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、請求項１０に記載の方法。
【請求項１４】
前記個々の画像内の位置を識別することは、前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記個々の画像外に延在しないように、前記個々の画像内の位置をランダムに選択することを含む、請求項１３に記載の方法。
【請求項１５】
前記ホモグラフィを前記個々の画像に適用することによって前記変換された画像を生成することは、
前記ホモグラフィの逆を前記個々の画像に適用し、前記変換された画像を生成すること
を含む、請求項１０に記載の方法。
【請求項１６】
前記比較に基づいて前記ホモグラフィを決定することは、前記コーナーの第１のセットと前記コーナーの第２のセットとの間の１つ以上の変位ベクトルを決定することを含み、前記１つ以上の変位ベクトルの各々は、第１の次元および第２の次元における対応するコーナー間のオフセットを示す、請求項７に記載の方法。
【請求項１７】
前記ホモグラフィを前記画像に適用することによって前記変換された画像を生成することは、前記ホモグラフィの逆を前記画像に適用し、前記変換された画像を生成することを含む、請求項７に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
従来の技法に優る多数の利点が、本発明を用いて達成される。例えば、本発明の実施形態は、コーナーが入力画像のうちの１つ内で検出されないとき、画像間の変換を推定する能力を提供する。さらに、本発明の実施形態は、検出されたコーナーが入力画像のうちの１つの小サブセット内に集中するとき、画像間の変換を推定する能力を提供する。他の実装では、実施形態は、画像のうちの１つが、ぼけている、または低光シナリオで撮影されたとき、画像間の変換を推定する能力を提供する。加えて、広範囲の画像モダリティ（限定ではないが、グレースケール画像、カラー（ＲＧＢ）画像、深度（ＲＧＢ−Ｄ）画像、赤外線画像、およびハイパースペクトル画像を含む）のための単一アルゴリズムを使用して画像間の変換を推定する能力が、いくつかの実施形態によって提供される。本発明のこれらおよび他の実施形態は、その利点および特徴の多くとともに、以下の文章および添付の図と併せてより詳細に説明される。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
画像に基づいてニューラルネットワークのための入力を生成するための方法であって、前記方法は、
前記画像を受信することと、
前記画像内の位置を識別することと、
前記位置における前記画像のサブセットを識別することであって、前記画像のサブセットは、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、前記画像の修正されたサブセットを定義する、ことと、
前記画像のサブセットと前記画像の修正されたサブセットとの間の比較に基づいて、ホモグラフィを決定することと、
前記ホモグラフィを前記画像に適用することによって、変換された画像を生成することと、
前記位置における前記変換された画像のサブセットを識別することと
を含む、方法。
（項目２）
前記画像のサブセット、前記変換された画像のサブセット、および前記ホモグラフィを前記ニューラルネットワークに送信することをさらに含む、項目１に記載の方法。
（項目３）
前記変換された画像のサブセットが境界アーチファクトを含まないことを決定することをさらに含む、項目１に記載の方法。
（項目４）
前記コーナーの第１のセットのうちの前記少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、項目１に記載の方法。
（項目５）
前記画像内の位置を識別することは、
前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記画像外に延在しないように、前記画像内の位置をランダムに選択すること
を含む、項目４に記載の方法。
（項目６）
前記比較に基づいて前記ホモグラフィを決定することは、
前記コーナーの第１のセットと前記コーナーの第２のセットとの間の１つ以上の変位ベクトルを決定することであって、前記１つ以上の変位ベクトルの各々は、第１の次元および第２の次元における対応するコーナー間のオフセットを示す、こと
を含む、項目１に記載の方法。
（項目７）
前記ホモグラフィを前記画像に適用することによって前記変換された画像を生成することは、
前記ホモグラフィの逆を前記画像に適用し、前記変換された画像を生成すること
を含む、項目１に記載の方法。
（項目８）
ニューラルネットワークを訓練するための方法であって、前記方法は、
複数の画像を受信することと、
前記複数の画像の個々の画像毎に、
前記個々の画像のサブセット、変換された画像のサブセット、および前記個々の画像のサブセットと前記変換された画像のサブセットとに基づくホモグラフィを含む、訓練トリプレットを生成することと、
前記ニューラルネットワークによって、前記個々の画像のサブセットと前記変換された画像のサブセットとに基づいて推定されるホモグラフィを生成することと、
前記推定されるホモグラフィと前記ホモグラフィを比較することと、
前記比較に基づいて、前記ニューラルネットワークを修正することと
を含む、方法。
（項目９）
前記訓練トリプレットを生成することは、
前記個々の画像内の位置を識別することと、
前記位置における前記個々の画像のサブセットを識別することであって、前記個々の画像のサブセットは、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、前記個々の画像の修正されたサブセットを定義する、ことと、
前記画像のサブセットと前記画像の修正されたサブセットとの間の比較に基づいて、前記ホモグラフィを決定することと、
前記ホモグラフィを前記個々の画像に適用することによって、前記変換された画像を生成することと、
前記位置における前記変換された画像のサブセットを識別することと
を含む、項目８に記載の方法。
（項目１０）
前記画像のサブセット、前記変換された画像のサブセット、および前記ホモグラフィを前記ニューラルネットワークに送信することをさらに含む、項目９に記載の方法。
（項目１１）
前記変換された画像のサブセットが境界アーチファクトを含まないことを決定することをさらに含む、項目９に記載の方法。
（項目１２）
前記コーナーの第１のセットのうちの前記少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、項目９に記載の方法。
（項目１３）
前記画像内の位置を識別することは、前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記画像外に延在しないように、前記画像内の位置をランダムに選択することを含む、項目１２に記載の方法。
（項目１４）
前記ホモグラフィを前記画像に適用することによって前記変換された画像を生成することは、
前記ホモグラフィの逆を前記画像に適用し、前記変換された画像を生成すること
を含む、項目９に記載の方法。
（項目１５）
２つの画像に基づいて推定されるホモグラフィを生成するための方法であって、
第１のカメラ姿勢に基づく第１の画像を受信することと、
第２のカメラ姿勢に基づく第２の画像を受信することと、
前記第１の画像および前記第２の画像をニューラルネットワークの中に入力することと、
前記ニューラルネットワークによって、前記第１の画像および前記第２の画像に基づいて推定されるホモグラフィを生成することであって、前記ニューラルネットワークは、
複数の画像を受信することと、
前記複数の画像の個々の画像毎に、
前記個々の画像内の位置を識別することと、
前記位置における前記個々の画像のサブセットを識別することであって、前記個々の画像のサブセットは、コーナーの第１のセットによって定義される、ことと、
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、コーナーの第２のセットを形成することであって、前記コーナーの第２のセットは、前記個々の画像の修正されたサブセットを定義する、ことと、
前記画像のサブセットと前記画像の修正されたサブセットとの間の比較に基づいて、ホモグラフィを決定することと、
前記ホモグラフィを前記個々の画像に適用することによって、変換された画像を生成することと、
前記位置における前記変換された画像のサブセットを識別することと、
前記個々の画像のサブセットと前記変換された画像のサブセットとに基づいて特定の推定されるホモグラフィを生成することと、
前記特定の推定されるホモグラフィと前記ホモグラフィを比較することと、
前記比較に基づいて、前記ニューラルネットワークを修正することと
によって事前に訓練されている、ことと
を含む、方法。
（項目１６）
前記画像のサブセット、前記変換された画像のサブセット、および前記ホモグラフィを前記ニューラルネットワークに送信すること
をさらに含む、項目１５に記載の方法。
（項目１７）
前記変換された画像のサブセットが境界アーチファクトを含まないことを決定すること
をさらに含む、項目１５に記載の方法。
（項目１８）
前記コーナーの第１のセットのうちの少なくとも１つを摂動し、前記コーナーの第２のセットを形成することは、
前記コーナーの第２のセットの第１の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第１のコーナーを囲繞する第１の摂動領域を定義することと、
前記コーナーの第２のセットの第２の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第２のコーナーを囲繞する第２の摂動領域を定義することと、
前記コーナーの第２のセットの第３の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第３のコーナーを囲繞する第３の摂動領域を定義することと、
前記コーナーの第２のセットの第４の摂動されたコーナーが形成され得る、前記コーナーの第１のセットの第４のコーナーを囲繞する第４の摂動領域を定義することと、
前記第１の摂動されたコーナーを前記第１の摂動領域内の第１のランダム位置に形成することと、
前記第２の摂動されたコーナーを前記第２の摂動領域内の第２のランダム位置に形成することと、
前記第３の摂動されたコーナーを前記第３の摂動領域内の第３のランダム位置に形成することと、
前記第４の摂動されたコーナーを前記第４の摂動領域内の第４のランダム位置に形成することと
を含む、項目１５に記載の方法。
（項目１９）
前記画像内の位置を識別することは、前記第１の摂動領域、前記第２の摂動領域、前記第３の摂動領域、および前記第４の摂動領域が前記画像外に延在しないように、前記画像内の位置をランダムに選択することを含む、項目１８に記載の方法。
（項目２０）
前記ホモグラフィを前記画像に適用することによって前記変換された画像を生成することは、
前記ホモグラフィの逆を前記画像に適用し、前記変換された画像を生成すること
を含む、項目１５に記載の方法。