(57)【要約】  エンティティの位置特定に用いられるように構成される第１の訓練可能な変換を生成する電算化された方法において、変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成される。方法は、変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、のうちの少なくとも１つを実施することと、ｃ）第１の変換を訓練するために誤差信号を用いることと、を含む。【選択図】  図２
2021510823.tif 000002
【特許請求の範囲】
【請求項１】
エンティティの位置特定に用いられるように構成される第１の訓練可能な変換を生成する電算化された方法であって、前記変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成され、
ａ）変換された第１訓練表現を生成するように、前記第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、前記第１訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、前記第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）前記第１の変換を訓練するために前記誤差信号を用いることと、
を含む方法。
【請求項２】
変換された前記第１訓練表現は、第２の訓練可能な変換を用いて変換され、前記第２の訓練可能な変換は、前記第１の訓練可能な変換の効果を反転し、合成第１訓練表現を生成するように訓練される、請求項１に記載の方法。
【請求項３】
修正された前記第１訓練表現は、前記合成第１訓練表現である、請求項２に記載の方法。
【請求項４】
前記誤差信号は、前記第２の訓練可能な変換を訓練するためにも用いられる、請求項２または請求項３に記載の方法。
【請求項５】
前記第１、及び／または、第２の訓練可能な変換は、ニューラルネットワークによって提供される、請求項２〜４の何れか一項に記載の方法。
【請求項６】
前記周知のプロセスは、特徴記述子を生成する、請求項１〜５の何れか一項に記載の方法。
【請求項７】
前記周知のプロセスは、前記第１及び第２表現内の特徴を検出する、請求項１〜６の何れか一項に記載の方法。
【請求項８】
前記訓練可能な変換の重みは、訓練開始前に初期化される、請求項１〜７の何れか一項に記載の方法。
【請求項９】
表現が合成表現であるかどうかを識別可能にするために識別器を訓練する、請求項１〜８の何れか一項に記載の方法。
【請求項１０】
前記第１訓練表現からの表現に対応するが異なる光条件下の表現である一組の第２訓練表現を用いる方法の訓練を繰り返す、請求項１〜９の何れか一項に記載の方法。
【請求項１１】
請求項１〜１０の何れか一項の方法によって訓練された訓練可能な変換の使用であって、車両内で、該車両の位置を特定するために、または、少なくとも該車両の位置の特定を補助するために、格納された表現のライブラリに対する入力表現のマッチングにおいて行われる、訓練可能な変換の使用。
【請求項１２】
車両の周囲の現在の表現を取得するように構成されるセンサを備える車両であって、前記車両は、前記周囲の格納された表現のライブラリへのアクセスを有する処理回路をさらに備え、前記処理回路は、
ａ）ｉ）変換を用いて前記現在の表現を変換すること、及び、格納された表現の前記ライブラリから前記変換された画像を検索すること、
ｉｉ）前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
のうちの少なくとも１つと、
ｂ）前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を用いることと、
を実施するように構成され、
ステップａ）で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、車両。
【請求項１３】
環境の第１表現を、環境の、異なる第２表現に変換するよう構成される第１の訓練可能な変換を訓練するように構成されるシステムであって、
ａ）変換された第１訓練表現を生成するように、前記第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理し、
ｂ）ｉ）誤差信号を生成するように、前記第１訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、前記第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施し、
ｃ）前記第１の変換を訓練するために前記誤差信号を用いる、
ようにプログラムされる処理回路を備えるシステム。
【請求項１４】
コンピュータによって読み取られる場合に、機械に、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、前記第１訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、前記第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された前記第１訓練表現について、前記第１の訓練可能な変換が前記第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）前記第１の変換を訓練するために前記誤差信号を用いることと、
を実施させる命令を含む機械可読媒体。
【請求項１５】
車両の周囲の現在の表現を取得するように構成される車両のセンサを用いること、を含む車両の位置特定の方法であって、
ａ）ｉ）変換を用いて前記現在の表現を変換すること、及び、格納された表現のライブラリから前記変換された画像を検索すること、
ｉｉ）前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
のうちの少なくとも１つを実施することと、
ｂ）前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を用いることと、
を含む方法であって、
ステップａ）で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、方法。
【請求項１６】
コンピュータによって読み取られる場合に、車両上のコンピュータに、
ａ）前記車両の周囲の現在の表現を取得するように構成される車両のセンサを使用させ、
ｂ）ｉ）変換を用いて前記現在の表現を変換すること、及び、格納された表現のライブラリから前記変換された画像を検索すること、
ｉｉ）前記ライブラリからの少なくともいくつかの前記格納された表現を変換すること、及び、変換された前記格納された表現から前記現在の表現を検索すること、
のうちの少なくとも１つを実施させ、
ｃ）前記車両の位置特定のために、前記格納された表現の前記ライブラリから検索で探し出された表現を使用させる、
命令を含む機械可読媒体であって、
ステップａ）で実施される前記変換は、前記変換された表現内の特徴を強調するように構成される、機械可読媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
［発明の技術分野］
本発明は、通常、見た目に大きな変化を伴う環境における車両の位置特定のための方法及び関連する装置に関する。詳細には、実施形態はカメラのみのシステムであるが、これに限定するものではない。
［発明の背景］
キーポイント特徴マッチング（例えば、ＳＵＲＦ、ＳＩＦＴ、ＢＲＩＥＦ、ＯＲＢなど）は、
［１］Ｃ．Ｌｉｎｅｇｅｒ、Ｗ．Ｃｈｕｒｃｈｉｌｌ、及び、Ｐ．Ｎｅｗｍａｎ「Ｍａｄｅ  ｔｏ  ｍｅａｓｕｒｅ：Ｂｅｓｐｏｋｅ  ｌａｎｄｍａｒｋｓ  ｆｏｒ  ２４−ｈｏｕｒ，ａｌｌ−ｗｅａｔｈｅｒ  ｌｏｃａｌｉｓａｔｉｏｎ  ｗｉｔｈ  ａ  ｃａｍｅｒａ」Ｐｒｏｃｅｅｄｉｎｇｓ−ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ（Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ、２０１６年６月号、２０１６年、７８７〜７９４ページ）、
［２］Ｃ．ＭｃＭａｎｕｓ、Ｂ．Ｕｐｃｒｏｆｔ、及び、Ｐ．Ｎｅｗｍａｎ「Ｌｅａｒｎｉｎｇ  ｐｌａｃｅ−ｄｅｐｅｎｄａｎｔ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｌｏｎｇ−ｔｅｒｍ  ｖｉｓｉｏｎ−ｂａｓｅｄ  ｌｏｃａｌｉｓａｔｉｏｎ」Ａｕｔｏｎｏｍｏｕｓ  Ｒｏｂｏｔｓ、ｖｏｌ．３９、ｎｏ．３、３６３〜３８７ページ、２０１５年、
［３］Ｗ．Ｃｈｕｒｃｈｉｌｌ、及び、Ｐ．Ｎｅｗｍａｎ「Ｅｘｐｅｒｉｅｎｃｅ−ｂａｓｅｄ  ｎａｖｉｇａｔｉｏｎ  ｆｏｒ  ｌｏｎｇｔｅｒｍ  ｌｏｃａｌｉｓａｔｉｏｎ」Ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｏｂｏｔｉｃｓ  Ｒｅｓｅａｒｃｈ、ｖｏｌ．３２、ｎｏ．１４、１６４５〜１６６１ページ、２０１３年、
［４］Ｒ．Ｍｕｒ−Ａｒｔａｌ、及び、Ｊ．Ｄ．Ｔａｒｄ’ｏｓ「ＯＲＢ−ＳＬＡＭ２：ａｎ  ｏｐｅｎ−ｓｏｕｒｃｅ  ＳＬＡＭ  ｓｙｓｔｅｍ  ｆｏｒ  ｍｏｎｏｃｕｌａｒ，ｓｔｅｒｅｏ  ａｎｄ  ＲＧＢ−Ｄ  ｃａｍｅｒａｓ」ＣｏＲＲ、ｖｏｌ．ａｂｓ／１６１０．０６４７５、２０１６年、
［５］Ｐ．Ｆｕｒｇａｌｅ、及び、Ｔ．Ｄ．Ｂａｒｆｏｏｔ「Ｖｉｓｕａｌ  ｔｅａｃｈ  ａｎｄ  ｒｅｐｅａｔ  ｆｏｒ  ｌｏｎｇ−ｒａｎｇｅ  ｒｏｖｅｒ  ａｕｔｏｎｏｍｙ」Ｊｏｕｒｎａｌ  ｏｆ  Ｆｉｅｌｄ  Ｒｏｂｏｔｉｃｓ、ｖｏｌ．２７、ｎｏ．５、５３４〜５６０ページ、２０１０年５月、
などの従来技術文献にて用いられるような、マルチマップ視覚的位置特定システム、及び、多数の他の商用システムにおいて、先進的なアプローチを示す。これは、類似の光条件のシーンをマッチングする場合に良好に機能する一方で、例えば、屋外で用いられるときなどの照度変化、または、季節差によりシーンの見た目が異なる場合に、性能が急速に低下する。標準的な記述子（例えば、ＳＵＲＦ、ＳＩＦＴ、ＢＲＩＥＦ、ＯＲＢなど）の使用を試みることは、不十分な位置特定の原因となるであろう。これらのポイント特徴に基づく方法を機能させるために、マッピング手法は、一般的に、それぞれの見た目のカテゴリ（晴れ、雪、夜明け、夕暮れ、雨、夜など）に対して実施されることが必要であろう。
【０００２】
さらなる従来技術が、［６］Ｃ．Ｌｉｎｅｇａｒ、Ｗ．Ｃｈｕｒｃｈｉｌｌ、及び、Ｐ．Ｎｅｗｍａｎ「Ｗｏｒｋ  ｓｍａｒｔ，ｎｏｔ  ｈａｒｄ：Ｒｅｃａｌｌｉｎｇ  ｒｅｌｅｖａｎｔ  ｅｘｐｅｒｉｅｎｃｅｓ  ｆｏｒ  ｖａｓｔ−ｓｃａｌｅ  ｂｕｔ  ｔｉｍｅ−ｃｏｎｓｔｒａｉｎｅｄ  ｌｏｃａｌｉｓａｔｉｏｎ」Ｐｒｏｃｅｅｄｉｎｇｓ−ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ、２０１５年６月号、６月号、２０１５年、９０〜９７ページ、［７］Ｊ．Ｚｈｕ、Ｔ．Ｐａｒｋ、Ｐ．Ｉｓｏｌａ、及び、Ａ．Ａ．Ｅｆｒｏｓ「Ｕｎｐａｉｒｅｄ  ｉｍａｇｅ−ｔｏ−ｉｍａｇｅ  ｔｒａｎｓｌａｔｉｏｎ  ｕｓｉｎｇ  ｃｙｃｌｅ−ｃｏｎｓｉｓｔｅｎｔ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋｓ」、ＣｏＲＲ、ｖｏｌ．ａｂｓ／１７０３．１０５９３、２０１７年、
［８］Ｗ．Ｙａｎ、Ｘ．Ｓｈｉ、Ｘ．Ｙａｎ、及び、Ｌ．Ｗａｎｇ「Ｃｏｍｐｕｔｉｎｇ  ＯｐｅｎＳＵＲＦ  ｏｎ  ＯｐｅｎＣＬ  ａｎｄ  ｇｅｎｅｒａｌ  ｐｕｒｐｏｓｅ  ＧＰＵ」Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ａｄｖａｎｃｅｄ  Ｒｏｂｏｔｉｃ  Ｓｙｓｔｅｍｓ、ｖｏｌ．１０、２０１３年、
［９］Ｔ．Ｂ．Ｔｅｒｒｉｂｅｒｒｙ、Ｌ．Ｍ．Ｆｒｅｎｃｈ、及び、Ｊ．Ｈｅｌｍｓｅｎ「Ｇｐｕ  ａｃｃｅｌｅｒａｔｉｎｇ  ｓｐｅｅｄｅｄ−ｕｐ  ｒｏｂｕｓｔ  ｆｅａｔｕｒｅｓ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ３ＤＰＶＴ、ｖｏｌ．８、２００８年、３５５〜３６２ページ、
レンダリング画像を改善するために、識別可能なＨＯＧ記述子を導入し、パイプライン内でそれを用いる、［１０］Ｗ．Ｗ．−Ｃ．Ｃｈｉｕ、及び、Ｍ．Ｆｒｉｔｚ「Ｓｅｅ  ｔｈｅ  ｄｉｆｆｅｒｅｎｃｅ：Ｄｉｒｅｃｔ  ｐｒｅ−ｉｍａｇｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ａｎｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｂｙ  ｄｉｆｆｅｒｅｎｔｉａｔｉｎｇ  ｈｏｇ」２０１５  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、４６８〜４７６ページ、２０１５年、に示される。
ＩＩ．関連研究
トポロジカル位置特定：見た目に大きな変化のある画像をマッチングするときには視点が大きく異なることを示し、続いて、クエリ画像の視点に合致する画像を合成するためにグーグルストリートビューパノラマを用いる、［１２］Ａ．Ｔｏｒｉｉ、Ｒ．Ａｒａｎｄｊｅｌｏｖｉ’ｃ、Ｊ．Ｓｉｖｉｃ、Ｍ．Ｏｋｕｔｏｍｉ、及び、Ｔ．Ｐａｊｄｌａ「２４／７  ｐｌａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂｙ  ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、６月７〜１２日号、２０１５年、１８０８〜１８１７ページ、のトポロジカル位置特定において、合成画像は使用されてきた。ＣＮＮ特徴のための同時可視性グラフは、その時点で問い合わせされる、特に「中間」ビューを生成する画像の近傍のビューからの特徴を追加することによって、視点変化に対する不変性を強化する［１３］Ｓ．Ｃａｓｃｉａｎｅｌｌｉ、Ｇ．Ｃｏｓｔａｎｔｅ、Ｅ．Ｂｅｌｌｏｃｃｈｉｏ、Ｐ．Ｖａｌｉｇｉ、Ｍ．Ｌ．Ｆｒａｖｏｌｉｎｉ、及び、Ｔ．Ａ．Ｃｉａｒｆｕｇｌｉａ「Ｒｏｂｕｓｔ  ｖｉｓｕａｌ  ｓｅｍｉ−ｓｅｍａｎｔｉｃ  ｌｏｏｐ  ｃｌｏｓｕｒｅ  ｄｅｔｅｃｔｉｏｎ  ｂｙ  ａ  ｃｏｖｉｓｉｂｉｌｉｔｙ  ｇｒａｐｈ  ａｎｄ  ＣＮＮ  ｆｅａｔｕｒｅｓ」Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｎｏｍｏｕｓ  Ｓｙｓｔｅｍｓ、ｖｏｌ．９２、５３〜６５ページ、２０１７年、によって用いられた。［１４］Ｅ．Ｊｏｈｎｓ、及び、Ｇ．−Ｚ．Ｙａｎｇ「Ｆｅａｔｕｒｅ  ｃｏ−ｏｃｃｕｒｒｅｎｃｅ  ｍａｐｓ：Ａｐｐｅａｒａｎｃｅｂａｓｅｄ  ｌｏｃａｌｉｓａｔｉｏｎ  ｔｈｒｏｕｇｈｏｕｔ  ｔｈｅ  ｄａｙ」Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）、２０１３  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ＩＥＥＥ、２０１３年、３２１２〜３２１８ページにおいて、１日の異なる時間に撮像されたそれぞれの画像に共通に生じる特徴は、照明条件に関わらないという観点から、何れの画像においても識別可能な特徴を含む固有の表現に結び付けられる。
【０００３】
季節をまたぐ画像における変化は、スーパーピクセルのボキャブラリーを用いて、場所認識のために用いられる［１５］Ｐ．Ｎｅｕｂｅｒｔ、Ｎ．Ｓｕｎｄｅｒｈａｕｆ、及び、Ｐ．Ｐｒｏｔｚｅｌ「Ａｐｐｅａｒａｎｃｅ  ｃｈａｎｇｅ  ｐｒｅｄｉｃｔｉｏｎ  ｆｏｒ  ｌｏｎｇ−ｔｅｒｍ  ｎａｖｉｇａｔｉｏｎ  ａｃｒｏｓｓ  ｓｅａｓｏｎｓ」Ｍｏｂｉｌｅ  Ｒｏｂｏｔｓ（ＥＣＭＲ）、２０１３  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ＩＥＥＥ、２０１３年、１９８〜２０３ページによって、予測された。冬のシーンが夏にどのように見えるか（逆もまた同様）は、まず、画像をスーパーピクセルに区分化し、それぞれのスーパーピクセルを、冬のボキャブラリー中のエントリーと関連付け、その後、そのスーパーピクセルを、ボキャブラリー間をマッピングする辞書を用いることによって、夏のボキャブラリーの対応するものに置換することによって、予測される。しかしながら、これらの合成ビューは、位置合わせ不良またはポイント特徴の劣化を受けるので、メトリックな（計量的な）位置特定は実現されない。
【０００４】
メトリック位置特定：メトリック位置特定の観点から、［１６］Ｐ．Ｍ¨ｕｈｌｆｅｌｌｎｅｒ、Ｍ．Ｂ¨ｕｒｋｉ、Ｍ．Ｂｏｓｓｅ、Ｗ．Ｄｅｒｅｎｄａｒｚ、Ｒ．Ｐｈｉｌｉｐｐｓｅｎ、及び、Ｐ．Ｆｕｒｇａｌｅ「Ｓｕｍｍａｒｙ  Ｍａｐｓ  ｆｏｒ  Ｌｉｆｅｌｏｎｇ  Ｖｉｓｕａｌ  Ｌｏｃａｌｉｚａｔｉｏｎ」Ｊｏｕｒｎａｌ  ｏｆ  Ｆｉｅｌｄ  Ｒｏｂｏｔｉｃｓ、ｖｏｌ．３３、ｎｏ．５、５６１〜５９０ページ、２０１６年８月は、サンプリング手法及びランキング関数のフレームワークを用いて、オンライン位置特定の間に、マルチ経験マップから「概要マップ」を生成するステップを導入することによってマルチ経験アプローチを改良する。しかしながら、それらのアプローチは、様々な条件下でマッピングを実施する必要性を軽減しない。［１７］Ｇ．Ｙｕ、及び、Ｊ．−Ｍ．Ｍｏｒｅｌ「Ａｓｉｆｔ：Ａｎ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｆｕｌｌｙ  ａｆｆｉｎｅ  ｉｎｖａｒｉａｎｔ  ｃｏｍｐａｒｉｓｏｎ」Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｏｎ  Ｌｉｎｅ、ｖｏｌ．１、１１〜３８ページ、２０１１年において、著者は、アフィン変換を用いて、マッチングされる画像の異なるビューを生成し、これらの生成したビューにＳＩＦＴを適用して、視点の変化に対して改善されたロバスト性を示したが、見た目の変化には言及していない。
【０００５】
ビジュアルオドメトリの観点から、高ダイナミックレンジ画像マッチングは、画像の時間的に一貫性のある強調された表現を生成するようにＬＳＴＭディープニューラルネットワークを訓練することによって、［１８］Ｒ．Ｇｏｍｅｚ−Ｏｊｅｄａ、Ｚ．Ｚｈａｎｇ、Ｊ．Ｇｏｎｚａｌｅｚ−Ｊｉｍｅｎｅｚ、及び、Ｄ．Ｓｃａｒａｍｕｚｚａ「Ｌｅａｒｎｉｎｇ−ｂａｓｅｄ  ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｆｏｒ  ｖｉｓｕａｌ  ｏｄｏｍｅｔｒｙ  ｉｎ  ｃｈａｌｌｅｎｇｉｎｇ  ｈｄｒ  ｅｎｖｉｒｏｎｍｅｎｔｓ」ａｒＸｉｖプレプリント、ａｒＸｉｖ：１７０７．０１２７４、２０１７年、において改善される。しかしながら、ビジュアルオドメトリは、光または見た目がほとんど変化しない時間的に近接する画像を扱う。
【０００６】
見た目の変換：合成画像技術は他の課題のために用いられてきたが、位置特定の場面において期待されており、［１９］Ｙ．Ｓｈｉｈ、Ｓ．Ｐａｒｉｓ、Ｆ．Ｄｕｒａｎｄ、及び、Ｗ．Ｔ．Ｆｒｅｅｍａｎ「Ｄａｔａ−ｄｒｉｖｅｎ  ｈａｌｌｕｃｉｎａｔｉｏｎ  ｏｆ  ｄｉｆｆｅｒｅｎｔ  ｔｉｍｅｓ  ｏｆ  ｄａｙ  ｆｒｏｍ  ａ  ｓｉｎｇｌｅ  ｏｕｔｄｏｏｒ  ｐｈｏｔｏ」ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ、ｖｏｌ．３２、ｎｏ．６、２００：１〜２００：１１ページ、２０１３年１１月は、１日の異なる時間における画像の見た目に「幻覚を起こさせる」ために色変換技術において局所アフィン変換を用いる。［２０］Ｌ．Ａ．Ｇａｔｙｓ、Ａ．Ｓ．Ｅｃｋｅｒ、及び、Ｍ．Ｂｅｔｈｇｅ「Ｉｍａｇｅ  ｓｔｙｌｅ  ｔｒａｎｓｆｅｒ  ｕｓｉｎｇ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ」Ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０１６年６月、において、画像はＶＧＧ−１９ネットワークを用いてスタイル及びコンテンツ表現に分解され、その後、ホワイトノイズ画像から始まり、入力画像のコンテンツ表現とターゲット画像のスタイル表現とを対応させる画像の勾配降下を用いる合成が続く。
【０００７】
［７］は、ＸからＹへマッピングするＧ、及び、ＹからＸへマッピングするＦの一対のＣＮＮ生成器を訓練することによる教師無しでの画像から画像への変換を明示し、ＸとＦ（Ｇ（Ｘ））との間に、Ｇの出力に関する識別器損失ＬＧ、及び、Ｆの出力に関する識別器損失ＬＦと共に、「サイクル一貫性」Ｌ１損失を適用する。同様にして、［２１］Ｍ．Ｌｉｕ、Ｔ．Ｂｒｅｕｅｌ、及び、Ｊ．Ｋａｕｔｚ「Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｉｍａｇｅ−ｔｏ−ｉｍａｇｅ  ｔｒａｎｓｌａｔｉｏｎ  ｎｅｔｗｏｒｋｓ」ＣｏＲＲ、ｖｏｌ．ａｂｓ／１７０３．００８４８、２０１７年、は、位置合わせされていない画像を用いて画像変換するために、画像用の一対の変分オートエンコーダ−敵対的生成ネットワーク（ＶＡＥ−ＧＡＮｓ）を訓練するが、サイクル一貫性損失を用いず、代わりに、高レベル層の重みを部分的に共有し、ＶＡＥ間の潜在空間符号化を共有することを選択する。著者は、セマンティックラベルと自然画像、及び、昼画像と夜画像、を含む異なるドメイン変換のペアについて訓練するが、いかなるトポロジカル、または、メトリック位置特定の適用も明示していない。我々は、我々が、見た目変換アプローチを用いたメトリック位置特定に最初に直接的に取り組んだと確信する。
［発明の概要］
本発明の第１の態様によれば、エンティティ（実在物）の位置特定に用いられるように構成される第１の訓練可能な変換を生成する電算化された方法が提供される。便宜上、本変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成される。本方法は、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）第１の変換を訓練するために誤差信号を用いることと、
のうちの少なくとも１つを含んでもよい。
【０００８】
従来技術は、位置特定を改善するために、検出器、記述子、または、他の周知のプロセッサを改善しようとする。しかしながら、上記の態様を提供する実施形態は、代わりに訓練可能な変換を訓練することによって入力画像を修正する。このようにして、訓練可能な変換は、位置特定のためにより適切であり得る表現を生成するために用いられ得る。典型的に、このようにして処理される表現は、特徴マッチングに基づく任意の既存のシステムと共に、通常、変更を加えることなく用いられ得る。
【０００９】
全ての条件に対するマッピングは、多大な時間を必要とし、費用がかかり、ある場合においては不可能となり得るので、このような実施形態は、大幅に手間を省くはずである。また、悪条件下で収集されたデータの品質は、訓練された変換によって変換された表現と比較した場合に、より劣ることがあり、任意の生成されたマップにおける、より低い精度の原因となり得ることに留意すべきである。
【００１０】
実施形態は、異なる条件下における同じ場所での画像を合成するように設計された敵対的訓練ネットワークの一部として、識別可能な特徴検出器、及び／または、記述子パイプライン（または、任意の他の適切な周知の変換）を提供すると考えられてもよい。
【００１１】
いくつかの実施形態は、訓練の第１段階を提供してもよい。このような第１段階において、本方法は、ソース条件のトラバーサル（測量記録）の全て、及び、ターゲット条件のトラバーサルの少ない一部を選択することを含んでもよく、画像のいかなる位置合わせもすることなく、一対の訓練可能な変換を訓練してもよい。訓練は、以下では、サイクル一貫性損失、識別器損失、及び、特徴検出器及び記述子損失の何れかを含む誤差信号によって実施されてもよい。
【００１２】
いくつかの実施形態は、微調整段階と呼ばれ得るさらなる訓練段階を提供してもよい。さらなる訓練段階において、複数の十分に位置合わせされたターゲット及びソース表現のペアが選択される。訓練可能な変換は、その後、これらの十分に位置合わせされた表現を用いて変換されてもよく、一般的には、（特徴検出器、及び／または、識別器の出力のような）周知の変換にＬ１損失を用いる。十分に位置合わせされた表現は、メトリック６自由度グラウンドトゥルース（地上検証データ）に基づいて選択されてもよい。
【００１３】
いくつかの実施形態において、第１段階を提供することなく、単純にさらなる訓練段階を提供してもよい。他の実施形態は、第１段階のみを提供してもよく、または、第１及び第２段階の両方を提供してもよい。
【００１４】
便宜上、変換された第１訓練は、第２の訓練可能な変換を用いて変換され、第２の訓練可能な変換は、第１の訓練可能な変換の効果を反転し、合成第１訓練表現を生成するように訓練される。
【００１５】
いくつかの実施形態において、修正された第１訓練表現は、変換された第１訓練表現である。
【００１６】
いくつかの実施形態において、修正された第１訓練表現は、合成第１訓練表現である。
【００１７】
便宜上、誤差信号は、第２の訓練可能な変換を訓練するためにも用いられる。
【００１８】
通常、第１及び第２の訓練可能な変換は、ニューラルネットワークによって提供される。しかしながら、いくつかの実施形態において、遺伝的アルゴリズムなどの他の訓練可能な変換が用いられてもよい。
【００１９】
便宜上、周知のプロセスは、特徴記述子を生成する。
【００２０】
追加的に、または、代替的に、周知のプロセスは、第１及び第２表現内の特徴を検出する。
【００２１】
通常、訓練可能な変換の重みは、訓練開始前の値をゼロまたはその他に設定するために、訓練開始前に初期化される。
【００２２】
いくつかの実施形態において、表現が、第１、及び／または、第２の訓練可能な変換によって生成される表現の質の改善を可能にする合成表現であるかどうかを識別可能にするために、識別器を用いてもよい。
【００２３】
本方法は、第１訓練表現からの表現と対応するが異なる光条件下の表現である一組の第２訓練表現を用いる方法の訓練を繰り返すように構成されてもよい。
【００２４】
一実施形態において、このような方法は、エンティティの位置特定に用いられるように構成される第１及び第２の訓練可能な変換を生成する以下の方法を提供してもよく、変換は、環境の第１表現を、環境の、異なる第２表現に変換するように構成され、方法は、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）第１の訓練可能な変換を反転して合成第１訓練表現を生成するように構成される第２の訓練可能な変換を用いて、変換された第１訓練表現を処理することと、
ｃ）誤差信号を生成するように、第１訓練表現及び合成第１訓練表現の両方について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するように構成されるように選択される、少なくとも１つの周知のプロセスを実行することと、
ｄ）第１及び第２の訓練可能な変換のうちの少なくとも１つを訓練するために誤差信号を用いることと、
を含む。
【００２５】
本発明の第２の態様によれば、本発明の第１の態様の方法によって訓練された訓練可能な変換の使用であって、車両内で、該車両の位置を特定するために、または、少なくとも該車両の位置の特定を補助するために、格納された表現のライブラリに対する入力表現のマッチングにおいて行われる、訓練可能な変換の使用が提供される。
【００２６】
本発明の第３の態様によれば、車両の周囲の現在の表現を取得するように構成されるセンサを備える車両が提供される。車両は、周囲の格納された表現のライブラリへのアクセスを有する処理回路を備えてもよく、処理回路は、
ａ）ｉ）変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ｉｉ）ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも１つと、
ｂ）車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を用いること、
を実施するように構成され、
ステップａ）で実施される変換は、変換された表現内の特徴を強調するように構成される。
【００２７】
訓練可能な変換が訓練されると、それらは合成表現を生成するために用いられてもよく、車両内で用いられてもよい。一実施形態において、合成画像は、その後、［３］に基づくステレオ位置特定パイプラインにおいて用いられる。このパイプラインは、まず、場所認識を実施し、車両のライブフレームと同一の場所からのものである可能性が最も高い候補フレームを出力し、次に、ライブフレームと、場所認識の間に取得されたフレームとの間のメトリックポーズを算出するためにキーポイント特徴マッチングを用いる。
【００２８】
当業者は、変換された表現への参照は、変換を経た表現を意味するよう意図されていることを理解するであろう。本発明の態様の観点から、変換された画像は、修正された画像または合成画像であってもよい。
【００２９】
本発明の第４の態様によれば、環境の第１表現を、環境の、異なる第２表現に変換するように構成される第１の訓練可能な変換を訓練するように構成されるシステムが提供される。システムは、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）第１の変換を訓練するために誤差信号を用いることと、
のうちの少なくとも１つを実施するようにプログラムされる処理回路を備えてもよい。
【００３０】
本発明の第５の態様によれば、コンピュータによって読み取られる場合に、機械に、
ａ）変換された第１訓練表現を生成するように、第１の訓練可能な変換を用いて、環境の複数の第１訓練表現を処理することと、
ｂ）ｉ）誤差信号を生成するように、第１訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
ｉｉ）誤差信号を生成するように、第１訓練表現に対応するが異なる光条件下である第２訓練表現、及び、修正された第１訓練表現について、第１の訓練可能な変換が第１訓練表現内の特徴を強調するよう構成されるように選択される、少なくとも１つの周知のプロセスを実行すること、
のうちの少なくとも１つを実施することと、
ｃ）第１の変換を訓練するために誤差信号を用いることと、
のうちの１つ以上を実施させる命令を含む機械可読媒体が提供される。
【００３１】
本発明の第６の態様によれば、車両の周囲の現在の表現を取得するように構成される車両のセンサを用いること、を含む車両の位置特定の方法が提供され、方法は、
ａ）ｉ）変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ｉｉ）ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも１つを実施することと、
ｂ）車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を用いることと、
のうちの１つ以上を含み、
ステップａ）で実施される変換は、変換された表現内の特徴を強調するように構成される。
【００３２】
本発明の第７の態様によれば、コンピュータによって読み取られる場合に、車両上のコンピュータに、
ａ）車両の周囲の現在の表現を取得するように構成される車両のセンサを使用することと、
ｂ）ｉ）変換を用いて現在の表現を変換すること、及び、格納された表現のライブラリから変換された画像を検索すること、
ｉｉ）ライブラリからの少なくともいくつかの格納された表現を変換すること、及び、変換された格納された表現から現在の表現を検索すること、
のうちの少なくとも１つを実施することと、
ｃ）車両の位置特定のために、格納された表現のライブラリから検索で探し出された表現を使用することと、
のうちの少なくとも１つを実施させる命令を含む機械可読媒体であって、
ステップａ）で実施される変換は、変換された表現内の特徴を強調するように構成される、機械可読媒体が提供される。
【００３３】
上述の本発明の態様の何れかにおいて参照される機械可読媒体は、ＣＤＲＯＭ、ＤＶＤ  ＲＯＭ／ＲＡＭ（−Ｒ／−ＲＷ、または、＋Ｒ／＋ＲＷを含む）、ハードディスクドライブ、メモリ（ＵＳＢドライブ、ＳＣカード、コンパクトフラッシュカードなどを含む）、伝送信号（インターネットダウンロード、ＦＴＰファイル転送などを含む）、ワイヤ、などの何れかであってもよい。
【００３４】
上述の本発明の態様の何れかに関連して説明される特徴は、必要に応じて変更を加えて、本発明の他の態様の何れかに適用されてもよい。
［本発明の実施形態の簡単な説明］
【図面の簡単な説明】
【００３５】
【図１】実施形態の具体化を概略的に示す。
【図２】見た目をソースからターゲット表現に変換し、逆もまた同様にするために、表現の登録を必要とすることなく、一対の生成器を訓練するように構成される、第１段階にて用いられるアーキテクチャを概略的に示す。
【図３】異なる条件間の特徴検出器と記述子層との差を最小にするために、十分に位置合わせされた訓練表現のサブセットに関する訓練プロセスの第２段階にて用いられるアーキテクチャを概略的に示す。
【図４】Ｈａａｒ応答の積み重ねを示す。
【図５】内部アーキテクチャを概略的に示す。
【図６】入力画像（左側の画像）から生成された画像（右側の画像）を図示する。
【図７】位置特定誤差を強調し、リアルの昼からリアルの夜への位置特定と、リアルの昼から合成の昼への位置特定との対比を示す。
【図８】移動距離の関数として、リアルの昼とリアルの夜との位置特定、及び、リアルの昼と合成の夜との位置特定に関するインライア数を示す。
【図９】位置特定に障害が発生した場合の推測航法の確率を距離の関数として与えるグラフを示す。
【図１０】見た目の変換を用いた異なる条件間の特徴に基づく位置特定の例を示し、４枚一組の画像のそれぞれの上の２つの画像は、リアル画像間のマッチングを示し、下の２つの画像は、同じリアル画像と、合成画像との間のマッチングを示す（ここで、水平線は、インライアの合致を示す）。
【図１１】方法を説明するフローチャートを示す。
【発明を実施するための形態】
【００３６】
図１は、後述の実施形態によって訓練される訓練可能な変換に対して配置される車両を説明する。それゆえに、図１は、後述の訓練プロセスの出力、訓練可能な変換を利用するシステムを説明する。
【００３７】
図１は、センサ１０２を搭載した車両１００を示す。ここでセンサは単眼カメラであるが、例えば、立体カメラ対、ＬｉＤＡＲセンサなどの任意の他の適切なセンサであってもよい。
【００３８】
センサ１０２は、その場所をモニタし、モニタリングに基づいてデータを生成し、それにより、車両の周囲の検知されたシーンに関するデータを提供する。
【００３９】
図１に示される実施形態において、車両１００は道路１０８に沿って移動し、センサ１００は、車両１００が移動するにつれて、その場所（例えば、建物１１０、道路１０８など）を撮像する。この実施形態において、車両１０２はまた、センサからデータを取り込み、その後、センサ１０２によって生成されたデータ（この場合においては画像であるが、他の表現もあり得る）を処理するように構成される処理回路１１２も備える。こうして、処理回路は、センサ１０２からデータを取り込む。説明される実施形態において、処理回路１１２は、車両上に格納装置１１４も備えるか、または、車両上の格納装置１１４にアクセスできる。
【００４０】
車両は、上述の参考文献［３］に説明されるように、位置特定パイプラインを採用してもよい。論文［３］は、参照することにより本願明細書に援用され、当業者は、この論文を読み、特に、位置特定パイプラインを参照するように案内される。
【００４１】
図の下部は、典型的な処理回路１１２に見られ得る構成要素を示す。処理ユニット１１８が設けられてもよく、これは、例えばＩ５、Ｉ７プロセッサなどのＩｎｔｅｌ（登録商標）Ｘ８６プロセッサであってもよい。処理ユニット１１８は、システムバス１２０を介して、Ｉ／Ｏサブシステム１２２（及び、それにより外部のネットワーク、ディスプレイなど）、及び、メモリ１２４と通信するように構成される。
【００４２】
当業者は、メモリ１２４が、揮発性メモリ、ハードディスクドライブ、不揮発性メモリ、他で説明される任意の機械可読媒体などを含む様々な構成要素によって提供され得ることを理解するであろう。実際に、メモリ１２４は、処理ユニット１１８の制御下の複数の構成要素を備えてもよい。
【００４３】
しかしながら、典型的には、メモリ１２４は、実行されたときに動作を実施するプログラムコードを格納するように構成されるプログラム格納部１２６、及び、一時的に、及び／または、永久的にデータを格納するために用いられ得るデータ格納部１２８を提供する。
【００４４】
他の実施形態において、処理回路１１２の少なくとも一部は、車両から離れて設けられてもよい。それにより、センサ１０２によって生成されるデータの処理は、車両１００外で、または、部分的に車両１００上、且つ、部分的に車両１００外で実施されることが考え得る。実施形態において、処理回路は、車両の上や外の両方に、ひいては、ネットワーク接続（例えば、３Ｇ  ＵＭＴＳ（ユニバーサル移動体通信システム）、４Ｇ（例えば、ＬＴＥ−ロングタームエボリューションなど）、ＷｉＦｉ（ＩＥＥＥ８０２．１１）、ＷｉＭＡＸなど）上や外の両方に設けられる。
【００４５】
道路に沿って移動する車両１００を参照することは都合が良いが、当業者は、本発明の実施形態が陸上車に限定される必要はなく、例えば、船、ボートなどの水上船舶、または、実際に、例えば飛行機などの空輸機であり得ることを理解するであろう。実際に、本方法は、例えば、ロボット、または、ユーザによって運ばれる移動体装置など車両以外のエンティティによって実施され得るであろう。
【００４６】
さらに、以下の記述において、センサ１００によって生成される画像データを参照することは都合が良いが、本発明の他の実施形態は、他の種類のデータを生成してもよい。それゆえに、説明される実施形態は、画像、つまり、環境の写真を利用する。しかしながら、他の種類の環境表現も適切であり得ると考えられる。例えば、ＬｉＤＡＲスキャンが、画像の代わりに用いられてもよい。それゆえに、以下における画像への言及は、他の種類のデータをカバーするものと考えるべきである。
【００４７】
説明される実施形態は、画像を変換するためにニューラルネットワーク（ＮＮ）を訓練する。ニューラルネットワークは、訓練可能な変換の例を提供する。訓練されたニューラルネットワークは、その後、以下に説明されるように、車両などの位置特定を支援するために用いられ得る画像を生成するために用いられ得る。
【００４８】
説明される実施形態は、［２２］Ｈ．Ｂａｙ、Ｔ．Ｔｕｙｔｅｌａａｒｓ、及び、Ｌ．Ｖａｎ  Ｇｏｏｌ「Ｓｕｒｆ：Ｓｐｅｅｄｅｄ  ｕｐ  ｒｏｂｕｓｔ  ｆｅａｔｕｒｅｓ」Ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ−ＥＣＣＶ  ２００６、４０４〜４１７ページ，２００６年、のＳＵＲＦ特徴を用いる特徴検出、及び、マッチングパイプラインを用い、２段階の訓練手法を採用する。他の実施形態は、説明される実施形態の両方の段階を用いなくてもよい。他の実施形態が第１段階のみ、または、第２段階のみを用いることは可能である。しかしながら、両方の段階を共に用いることは、説明される実施形態によって生成される合成画像の品質において優位性を示すことが分かっている。
【００４９】
第１段階において、［７］と同様に、サイクル一貫性アーキテクチャが、入力ソース画像をターゲット条件の合成画像に変換するように生成器を訓練するために用いられる。生成器は、訓練フェーズの間に訓練され、そこに入力される画像（または他の表現）を変換するように構成されるので、訓練可能な変換であると考えられるであろう。第１生成器によって生成される合成画像は、続いて（同様に訓練可能な変換であると考えられるであろう）第２生成器によって、逆方向に繰り返されるプロセスにて、初期状態を有する合成画像に再び変換される。
【００５０】
第２段階において、画像生成器は、十分に位置合わせされたデータセットのサブセットを用いて、独立して微調整される。
【００５１】
第１段階において、図２に示されるように、２つの（つまり、第１及び第２の訓練可能な変換）生成器、条件Ａを条件Ｂに変換する第１ＧＡＢ、及び、条件Ｂを条件Ａに変換する第２ＧＢＡは、対にされていないソース及びターゲット画像の収集物を用いて訓練される。ＧＢＡはＧＡＢの効果を反転する方法を学習するように構成／訓練される。ＧＡＢ及びＧＢＡは、それぞれ、訓練可能な変換であると考えられるであろう。識別器損失が合成画像に適用され、Ｌ１損失が合成画像と入力画像との間で適用される。さらに、ＳＵＲＦ検出器応答マップ（つまり、周知のプロセスの出力）が合成及び入力画像について算出され、それらの間でＬ１損失を適用し、同様に、画素毎の高密度ＳＵＲＦ記述子マップ（つまり、周知のプロセスの出力）を合成及び入力画像について算出し、それらの間でＬ１損失を適用するが、これらの方法は、以下のＩＩＩ−Ａ及びＩＩＩ−Ｂにてさらに説明される。
【００５２】
このように、第１段階が第１訓練表現２００を取得し（ステップ１１００）、それを第１の訓練可能な変換（ここではＧＡＢ）を用いて変換することが分かる。ＧＡＢの出力は、第１訓練表現の修正版２０２であると考えられるであろう。
【００５３】
次に、第１訓練表現の修正版２０２は、第２の訓練可能な変換（ここではＧＢＡ）に入力され、第１訓練表現の合成版２０４が生成される。
【００５４】
その後、説明される実施形態において、記述子マップ及び検出器応答マップの両方が、第１訓練画像２０６と、合成版２０８とのそれぞれに対して計算され（つまり、周知のプロセスが実行され）、誤差信号２１０を生成するために用いられる。
【００５５】
ここで、ソース画像は、第１訓練表現であると考えられてもよく、ターゲット画像は、第２訓練表現であると考えられてもよい。ここで説明される第１段階において、第１訓練表現（ソース画像）は、第２訓練表現（ターゲット画像）と対になっていないが、第２訓練表現は、第１表現と類似の表現に対応する。
【００５６】
第２段階において、ＧＡＢ及びＧＢＡ（つまり、訓練可能な変換）は、昼夜の画像が位置合わせされた少数のデータセット（つまり、各第１表現に対して提供される第２の十分に位置合わせされた表現を有する、第１及び第２表現）を用いて別途訓練される。画素が位置合わせされた画像の使用は、いかなる明確な画素毎のマッピングも伴わず、画像分布を位置合わせする方法を学習するだけの第１段階で用いられた教師なしの方法によって取り込まれなかったものであり得る、ある特徴変換を、生成器が学習することを可能にする。このとき、Ｌ１損失は、位置合わせされたターゲット画像及び合成画像について算出されるＳＵＲＦ検出器応答マップ（つまり、検出器応答マップは、周知のプロセスの出力である）間、及び、位置合わせされたターゲット画像及び合成画像について算出される高密度記述子応答マップ（つまり、記述子応答マップ）間で適用される。第２段階のアーキテクチャは、図３に示される。
【００５７】
次に、第２の微調整段階は、第１訓練表現に対応する第２訓練表現を取得することと考えられてもよい。ここで、第１及び第２訓練表現は、十分に位置合わせされる。
【００５８】
訓練可能な変換は（ＧＡＢとＧＢＡのそれぞれは順に）、その後、修正された訓練表現を生成するように、第１訓練表現を変換することによって訓練される。次に、ＳＵＲＦ検出器マップ及び記述子マップが、修正された第１訓練表現及び第２訓練表現の両方について生成され、つまり、周知のプロセスが、修正された第１訓練表現及び第２訓練表現のそれぞれに対して実施される。その後、訓練可能な変換を訓練するために、記述子、及び／または、検出器マップを比較することによって誤差信号が生成される。
【００５９】
説明される実施形態において、第１段階に続いて第２微調整段階が続く。しかしながら、いくつかの実施形態は、第１段階のみ、または、第２段階のみを実施し得ることも可能である。
【００６０】
上の説明において、記述子マップ及び検出器マップの生成は、画像に対して実行する周知のプロセスの例において用いられる。他の実施形態は、第１訓練画像及び合成画像が、画像分類ネットワークに入力され、層のうちの１つにおける活性化を比較する、知覚的損失のような他の周知のプロセスを用いてもよい。
【００６１】
生成器アーキテクチャは、［２３］Ｒ．Ｇｕｅｒｒｅｒｏ、Ｃ．Ｑｉｎ、Ｏ．Ｏｋｔａｙ、Ｃ．Ｂｏｗｌｅｓ、Ｌ．Ｃｈｅｎ、Ｒ．Ｊｏｕｌｅｓ、Ｒ．Ｗｏｌｚ、Ｍ．Ｖａｌｄｅｓ−Ｈｅｒｎａｎｄｅｚ、Ｄ．Ｄｉｃｋｉｅ、Ｊ．Ｗａｒｄｌａｗ等「Ｗｈｉｔｅ  ｍａｔｔｅｒ  ｈｙｐｅｒｉｎｔｅｎｓｉｔｙ  ａｎｄ  ｓｔｒｏｋｅ  ｌｅｓｉｏｎ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ  ｕｓｉｎｇ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ」ａｒＸｉｖプレプリント、ａｒＸｉｖ：１７０６．００９３５、２０１７年、のＵＲｅｓＮｅｔに基づき、これは、［２４］Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐ．Ｆｉｓｃｈｅｒ、及び、Ｔ．Ｂｒｏｘ「Ｕ−ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｂｉｏｍｅｄｉｃａｌ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ」Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｉｎｔｅｒｖｅｎｔｉｏｎ、Ｓｐｒｉｎｇｅｒ、２０１５年、２３４〜２４１ページのＵＮｅｔを、［２５］Ｋ．Ｈｅ、Ｘ．Ｚｈａｎｇ、Ｓ．Ｒｅｎ、及び、Ｊ．Ｓｕｎ「Ｄｅｅｐ  ｒｅｓｉｄｕａｌ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｉｍａｇｅ  ｒｅｃｏｇｎｉｔｉｏｎ」Ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）、２０１６年６月モジュールのＲｅｓｉｄｕａｌ（ＲｅｓＮｅｔ）と組み合せている。生成器の内部アーキテクチャは、図５に示される。
【００６２】
説明される実施形態において、識別器アーキテクチャは、５層のＣＮＮである。最初の４層は、インスタンス正規化及びｌｅａｋｙ  ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）が続く畳み込み演算を有し、最終層は、画像空間内の受容野をリアルまたはフェイクに分類するＨ／８×Ｗ／８マップを出力する畳み込み演算であり、Ｈ及びＷは、入力画像の高さ及び幅を示す。
【００６３】
より具体的には、このアーキテクチャは、ストライド２の３つの下畳み込み層５００，５０２，５０４、９つのＲｅｓＮｅｔブロック５１８、及び、分数ストライド１／２の３つの上畳み込み層５０６，５０８，５１０を、対応する下及び上畳み込み層の間にスキップ接続５１２，５１４，５１６を有して採用する。それぞれの畳み込み層は、層（５０６〜５１６）のシェーディングによって示されるように、インスタンス正規化及びｌｅａｋｙ  ＲｅＬＵが続く畳み込み演算からなる。それぞれのＲｅｓＮｅｔブロック５１８は、畳み込み、続いて、インスタンス正規化、ｌｅａｋｙ  ＲｅＬＵ、第２畳み込み、インスタンス正規化、及び、得られる出力に入力されるオリジナルブロックの加算、からなる。
【００６４】
ＧＡＢ及びＧＢＡの両方に関する生成器の結果の例は、様々な異なる条件のペアに関して図１０に示される。
Ａ．ＳＵＲＦ検出器応答マップ
ＳＵＲＦ検出器応答マップは、上述の［２２］にて説明されるヘッセ行列式の独自な近似方法の畳み込み版を用いて得られる。それぞれのスケールに関して、我々は、Ｘ、Ｙ及び斜め方向のそれぞれについてガウシアン
【００６５】
【数１】
2021510823.tif 000003
の２階微分を近似するために、３つのボックスフィルタを生成する。我々は、これらのフィルタを画像Ｉで畳み込み、応答マップＬｘｘ（σ）、Ｌｙｙ（σ）、及び、Ｌｘｙ（σ）をもたらす。
【００６６】
アダマール積を用いると、ヘッセ行列式の近似行列は、
【００６７】
【数２】
2021510823.tif 000004
である。
高密度ＳＵＲＦ記述子
ＯｐｅｎＳＵＲＦ（［２６］Ｃ．Ｅｖａｎｓ「Ｎｏｔｅｓ  ｏｎ  ｔｈｅ  ＯｐｅｎＳＵＲＦ  Ｌｉｂｒａｒｙ」ブリストル大学Ｔｅｃｈ  Ｒｅｐ  ＣＳＴＲ０９００１  １月、ｎｏ．１、２５ページ、２００９年）において用いられる方法論を適合させ、画素毎の高密度ＳＵＲＦ記述子を構築するための高速の畳み込み方法が採用され、これを通して勾配が渡され得る。Ｎ個の選択されたスケールのそれぞれのスケールに関して、我々は、
・ＳＵＲＦ記述子を構築するために用いられる近傍画素の８１の相対オフセットに関する検索テーブル
・８１のオフセットのスケール固有のガウシアン重みに関するＮｘ８１マトリクス
・１６の近傍のガウシアン重みに関する長さ１６の列ベクトル
・Ｘ及びＹの両方向に関するＨＡＡＲ−ｌｉｋｅボックスフィルタ
を予め計算する。
【００６８】
入力画像は、その後、ＨＡＡＲボックスフィルタにて畳み込まれ、ウェーブレット応答が保存される。選択されるスケールのそれぞれに関して、我々は、８１のウェーブレット応答の複製を積み重ね、スケール固有のガウシアン重みをそれらに乗じる。
【００６９】
その後、ＳＵＲＦ記述子を成す１６の近傍画素のそれぞれに関し、我々は、
・オフセット検索テーブル（例えば、４００ａ、４００ｂなどのオフセット参照）により、積み重ねられた複製を、Ｘ及びＹ方向に沿ってオフセットし、
・近傍固有のガウシアン重みを乗算し、
・積み重ね方向に沿って、生値及び絶対値の両方をＸ及びＹ方向のそれぞれに対して加算して４つのマトリクスをもたらし、
・それぞれのマトリクスと、その近傍固有のガウシアン重みＬＵＴとを要素ごとに乗算し、
・４つの結果として生じるマトリクスを積み重ねる。
【００７０】
最後に、結果として生じるＨ×Ｗサイズマトリクスの６４層の積み重ねのそれぞれの行が正規化され、ここでＨ及びＷは入力画像の高さ及び幅である。この積み重ねは、それぞれのスケールに関する画素毎の高密度ＳＵＲＦ記述子を示す。積み重ね及び加算演算は、図４に示される。
ｂ）記述子損失
このように、説明される実施形態は、記述子損失を利用する。このような記述子損失ＬＤｅｓｃは、訓練可能な変換（つまり、生成器）の訓練をガイドすると考えられてもよく、それゆえに、初期条件下の特定のシーンを示す入力された第１表現から得られる変換された第１表現の領域またはサブ領域成分の記述子は、ターゲット条件下の特定のシーンを示す第２表現の領域またはサブ領域成分の記述子と可能な限り厳密に合致する。訓練可能な変換の訓練フェーズの間、第１及び第２表現は、一般的に、訓練セットからの表現で与えられる。（車両１００上で利用されるときのような）実行時間の間、第１表現は、一般的に、センサ１０２からの表現で与えられる。
【００７１】
代替的に、または、追加的に、初期条件下の特定のシーンを示す入力表現から得られる変換された表現の領域またはサブ領域成分の記述子の分布は、ターゲット条件下の特定のシーンを示す画像の領域またはサブ領域成分の記述子の分布と可能な限り厳密に合致する。
【００７２】
ここで、記述子は、領域またはサブ域成分の強度、領域またはサブ領域成分の強度の線形変換、領域またはサブ領域成分の強度の非線形変換を示してもよい。
ａ）検出器損失
さらに、説明される実施形態はまた検出器損失も利用する。このような検出器損失は、訓練可能な変換の訓練をガイドすると考えられてもよく、それゆえに、初期条件下の特定のシーンを示す入力画像から得られる変換された画像の関心領域またはサブ領域成分の位置は、ターゲット条件下の特定のシーンを示す画像の関心領域またはサブ領域成分の位置と可能な限り厳密に合致する。
【００７３】
代替的に、または、追加的に、検出器は、初期条件下で特定のシーンを示す入力画像から得られる変換された画像の関心領域またはサブ領域成分の位置の分布が、ターゲット条件下の特定のシーンを示す画像の関心領域またはサブ領域成分の位置の分布と可能な限り厳密に合致するようにされている。
【００７４】
ここで、関心領域またはサブ領域成分は、領域にわたるそれらの強度／振幅の差、または、分散、または、共通の尺度を用いて定量化可能な情報コンテンツによって分類されてもよい。
【００７５】
ここで、変換された画像は、修正、及び／または、合成された画像のような、訓練可能な変換の出力を含む。
【００７６】
昼−夜マッチングのための特徴検出器及び記述子は、大部分の特徴が、小さなスケール（＜１０）で検出されることを示す、［２７］Ｈ．Ｚｈｏｕ、Ｔ．Ｓａｔｔｌｅｒ、及び、Ｄ．Ｗ．Ｊａｃｏｂｓ「Ｅｖａｌｕａｔｉｎｇ  ｌｏｃａｌ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｄａｙ−ｎｉｇｈｔ  ｍａｔｃｉｎｇ」Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ−ＥＣＣＶ  ２０１６  Ｗｏｒｋｓｈｏｐｓ−アムステルダム、オランダ、１０月８〜１０日及び１５〜１６日、２０１６年、Ｐｒｏｃｅｅｄｉｎｇｓ、パートＩＩＩ、２０１６年、７２４〜７３６ページ、において評価されている。実験に続いて、説明される本実施形態は、訓練プロセスの高速化のために最初の５スケールに対してＳＵＲＦ損失タームを算出し、このことが、性能の大きな損失を引き起こさないことが判明した。より少ない近傍画素内では、異なる条件の画像間の見た目の変化は、より多い近傍画素と比較してより均一になり得ることがこれに関する説明となり得るだろう。しかしながら、当業者は、他の実施形態が、精度がさらに向上し得るより大きなスケールに対して損失タームを算出してもよいが、一般的に、処理時間が増加するという不利益があることを理解するであろう。さらに、他の実施形態は、５スケールより小さなスケールで算出してもよい。
Ｂ．損失
［７］と同様に、説明される実施形態は、識別器を通してそれぞれの生成器の出力に、つまり、識別器ＤＢを通して生成器ＧＡＢの出力に、識別器ＤＡを通して、生成器ＧＢＡの出力に、敵対的な損失を適用する。この損失は、
【００７７】
【数３】
2021510823.tif 000005
【００７８】
【数４】
2021510823.tif 000006
のように定式化される。
【００７９】
敵対的オブジェクティブＬａｄｖは、
【００８０】
【数５】
2021510823.tif 000007
となる。
【００８１】
識別器は、以下の損失を最小にするように訓練される。
【００８２】
【数６】
2021510823.tif 000008
【００８３】
【数７】
2021510823.tif 000009
識別器オブジェクティブＬｄｉｓｃは、
【００８４】
【数８】
2021510823.tif 000010
となる。
【００８５】
サイクル一貫性損失［７］が、入力画像と合成画像との間、及び、ＳＵＲＦ検出器Ｄｅｔ（・）と、これらの２つの画像から算出される高密度記述子Ｄｅｓｃ（・）マップとの間に適用される。
【００８６】
【数９】
2021510823.tif 000011
【００８７】
【数１０】
2021510823.tif 000012
【００８８】
【数１１】
2021510823.tif 000013
完全な生成器オブジェクティブＬｇｅｎは、
【００８９】
【数１２】
2021510823.tif 000014
となる。
【００９０】
それぞれのλ項は、それぞれの損失成分の影響に重み付けするハイパーパラメータである。ターゲット画像が、入力及び合成画像と位置合わせされる微調整段階に関して、損失は、
【００９１】
【数１３】
2021510823.tif 000015
【００９２】
【数１４】
2021510823.tif 000016
となる。
【００９３】
微調整オブジェクティブＬｆｉｎｅｔｕｎｅは、
【００９４】
【数１５】
2021510823.tif 000017
となる。
【００９５】
説明される実施形態は、
【００９６】
【数１６】
2021510823.tif 000018
のような、生成器関数ＧＡＢ、ＧＢＡを算出する。
【００９７】
説明される実施形態は、上述の損失を、以下のように最小にするように構成される。
【００９８】
データは、最大で１年分収集され、５つの条件ぺア：昼−夜、昼−雪、昼−夜明け、昼−晴れ、及び、昼−雨を提供する、オックスフォードロボットカーデータセット［１１］Ｗ．Ｍａｄｄｅｒｎ、Ｇ．Ｐａｓｃｏｅ、Ｃ．Ｌｉｎｅｇａｒ、及び、Ｐ．Ｎｅｗｍａｎ「１  Ｙｅａｒ，１０００ｋｍ：Ｔｈｅ  Ｏｘｆｏｒｄ  ＲｏｂｏｔＣａｒ  Ｄａｔａｓｅｔ」Ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｏｂｏｔｉｃｓ  Ｒｅｓｅａｒｃｈ（ＩＪＲＲ）、ｖｏｌ．３６、ｎｏ．１、３〜１５ページ、２０１７年、からの６つのトラバーサルから用いられた。それぞれのトラバーサルについて、ＲＴＫ−ＧＰＳグラウンドトゥルースはフィルタ処理され、並進標準偏差で２５ｃｍより大きいデータ点は何れも破棄された。
【００９９】
それぞれの条件ペアに関する訓練データセットは、十分な量のマッピングデータが獲得できない場合をシミュレートするために、昼のトラバーサル全体、及び、ペアの条件のおよそ２０％を示す部分から生成された。ペアの条件の残りの８０％は、合成画像の性能を評価するために用いられた。
【０１００】
第２訓練段階で用いられる十分に位置合わせされたデータセットは、それらの間に視点回転が全く存在しないか、または、ごくわずかしか存在しない画像のペアを選択することによって生成された。並進または回転ずれの無い画像ペアはそのまま用いられ、微小な回転差を有する画像については、ターゲット画像は、ＲＴＫ−ＧＰＳグラウンドトゥルースによって提供される既知のポーズを用いて、ソース画像のフレームにアフィンワープされた。
Ａ．訓練
サイクル一貫性段階（つまり、第１段階）のため、［７］に類似のネットワーク訓練レジメンが採用される。それぞれの反復について、識別器は、Ｌｄｉｓｃを最小化する目標を有する以前の反復からのリアルターゲットドメイン画像及び合成画像で訓練され、その後、生成器が、Ｌｇｅｎを最小にするように、入力画像で訓練される。具体的には、説明される実施形態は、Ａｄａｍソルバ（［２８］Ｄ．Ｐ．Ｋｉｎｇｍａ、及び、Ｊ．Ｂａ「Ａｄａｍ：Ａ  ｍｅｔｈｏｄ  ｆｏｒ  ｓｔｏｃｈａｓｔｉｃ  ｏｐｔｉｍｉｚａｔｉｏｎ」ＣｏＲＲ、ｖｏｌ．ａｂｓ／１４１２．６９８０、２０１４年）を、０．０００２に設定される初期学習率、バッチサイズ１、λｒｅｃ＝８、λｄｅｔ＝２、λｄｅｓｃ＝２、及び、λａｄｖ＝１にて用いた。当業者は、他のソルバが利用できることを理解するであろう。
【０１０１】
微調整段階（つまり、第２段階）については、少数の十分に位置合わせされたデータセットのサブセットが、訓練のために用いられ、同一の学習パラメータを用いてＬｆｉｎｅｔｕｎｅを最小にするように構成される。
Ｂ．位置特定
一旦、パラメータが上述の方法によって学習されると、車両などの位置特定のためにパラメータを用いることが可能となる。
【０１０２】
ここで説明される一実施形態は、昼マップフレームをターゲット条件フレームに変換するように、訓練された生成器ＧＡＢを用い、５種類のターゲット条件フレームを昼条件フレームに変換するように、訓練された生成器ＧＢＡを用いた。
【０１０３】
位置特定の観点から合成画像を評価するために、実施形態は、ＲＡＮＳＡＣ（［３０］Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ、及び、Ｒ．Ｃ．Ｂｏｌｌｅｓ「Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ：ａ  ｐａｒａｄｉｇｍ  ｆｏｒ  ｍｏｄｅｌ  ｆｉｔｔｉｎｇ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ａｕｔｏｍａｔｅｄ  ｃａｒｔｏｇｒａｐｈｙ」Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＣＭ、ｖｏｌ．２４、ｎｏ．６、３８１〜３９５ページ、１９８１年６月）を用いる幾何学的な検証段階が続く、特徴に基づくトポロジー的位置特定（［２９］Ｍ．Ｃｕｍｍｉｎｓ、及び、Ｐ．Ｎｅｗｍａｎ「Ａｐｐｅａｒａｎｃｅ−ｏｎｌｙ  ｓｌａｍ  ａｔ  ｌａｒｇｅ  ｓｃａｌｅ  ｗｉｔｈ  ｆａｂ−ｍａｐ  ２．０」Ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｏｂｏｔｉｃｓ  Ｒｅｓｅａｒｃｈ、ｖｏｌ．３０、ｎｏ．９、１１００〜１１２３ページ、２０１１年）と、インライア再投影誤差を最小にするための非線形最適化と、を実行する［３］の体験型ナビゲーションシステムを用いた。
【０１０４】
別のマップとして合成フレームを追加することとは対照的に、特徴の対応は、リアル画像とリアル画像とのマッチング、及び、合成画像とリアル画像とのマッチングから蓄積され、このことは、より安定的で精度の高い解決策につながることが判明した。
【０１０５】
説明される実施形態において、生成器は、Ｎｖｉｄｉａ  Ｔｉｔａｎ  Ｘ  ＧＰＵ上で、１２８０×９６０の解像度の画像に対しておよそ１Ｈｚで動作し、６４０×４８０の解像度の画像に対しておよそ３Ｈｚで動作する。当業者は、これらの周波数は、異なるプロセッサ（つまり、ＧＰＵ）が用いられる場合に、変わり得ると理解するであろう。
Ｖ．結果
Ａ．定量的結果
以下に、結果が、位置特定の頻度及び品質の両方を考慮して示される。
【０１０６】
【表１】
2021510823.tif 000019
表１−様々なネットワークアーキテクチャに対するメトリック位置特定
表１は、昼−夜位置特定の場合における、ＲＴＫ−ＧＰＳグラウンドトゥルースに対する二乗平均平方根並進誤差（ＲＭＳＥ（ｍ））及び回転誤差（ＲＭＳＥ（Ｏ））と、移動距離のパーセンテージとしての累積有効特定位置と、を比較する。結果は、原画像、［７］のＲＧＢのみ実施にて得られる画像、及び、上述の実施形態の第１段階及び第２段階を用いて得られた画像に関して示される。結果は、第１段階のモデルから生成される合成画像を用いる位置特定の精度の向上、及び、第２段階の微調整モデルからのさらなる精度の向上を示す。
【０１０７】
【表２】
2021510823.tif 000020
表２−条件間のメトリック位置特定性能
表２は、第１段階の訓練がされたモデルを用いて、昼へと変換された幅広い条件の位置特定結果を示し、単一の条件に対して位置特定する場合の方法の性能を説明する。すべての場合において、位置特定率は（大抵は２倍に）改善され、メトリック誤差は削減される。
【０１０８】
図７は、グラウンドトゥルースに対する並進及び回転誤差の分布を与える２つのヒストグラムを示し、それぞれのヒストグラムは、昼−夜位置特定の場合における、原画像のマッチングと、我々の最良の解決策に関するマッチングと、を示す。原画像及び［７］のＲＧＢのみの実施によって作成される画像と比較して、位置特定の精度において、全体として大幅な改善が認められた。
【０１０９】
ヒストグラムを生成するために、絶対値で５メートルより大きい並進外れ値は、−５及び＋５メートルのビンに累積されている。絶対値で３０度より大きい回転外れ値は、−３０度及び＋３０度のビンに累積されている。
【０１１０】
図８は、昼−夜位置特定の場合における、原画像、及び、我々の最良の解決策に関して、合致インライア数を移動距離の関数として示す。リアル画像とリアル画像とのマッチングと比較して、リアルと合成のマッチングに関するインライア数の大幅な増加が認められた。
【０１１１】
図９は、位置特定に障害が発生した場合のＶＯ（ビジュアルオドメトリ）ベースの開ループにおける移動確率を移動距離の関数として示す。上述の実施形態を用いて生成された合成画像を用いる場合、大幅な改善が認められた。なお、おそらく意外にも、［７］のＲＧＢのみの実施を用いて生成された画像は、ロバスト性において大きな改善をもたらさなかった。
【０１１２】
なお、図９から、合成画像を用いた場合、昼−夜位置特定のロバスト性において、大幅な向上が認められた。マップは昼間から、入力画像は夜で図９を生成する。
Ｂ．質的な結果
図１０は、オックスフォード全体にわたる一連の場所における質的な結果を示し、ここで、原画像間のマッチングは、失敗したか、または、極めて少数のインライアをもたらした。画像ペア内のマッチングは、画像ペア内で対応するポイント間の水平線によって示される。本図は、リアル画像の間（上）、及び、リアル画像と合成画像との間（下）の対応を示す。ウィンドウフレームなどの特徴検出器及び記述子によって説明される詳細を再構築する質的に良好な仕事を、（構築による）学習後の画像変換がどのように行うかを示す。
ＶＩ．結論
悪条件下でロバストな位置特定を提供するシステムが示される。本システムは、（例えば、車両または他のエンティティがアクセス可能な画像ライブラリ上の）格納された画像とのポイント毎のマッチングを強調するように変換された入力画像を取得すると考えられるであろう。説明される実施形態において、訓練可能な変換は、明確に、属性特徴検出及び記述段階からなる一方で、サイクリックＧＡＮを用いて学習する。説明される実施形態は、特徴検出器及び記述子応答を利用する。
【０１１３】
マッピングに費用がかかり、時間を要し、または、困難である状況をエミュレートする少量のターゲット訓練データを用いる場合、説明される実施形態は、ベースラインと比較して場所認識及びメトリック位置特定が一貫して改善される、結果として生じる合成画像を生成した。それゆえに、このような実施形態は、多様な条件下のマッピングの費用及び不便さを、おそらく大幅に削減するだけでなく、我々の方法と併用して用いられる場合に、生成されるマップの有効性を改善するであろう。
【０１１４】
さらに、説明される実施形態は、一般的に、オフラインまたはオンラインの何れでも、位置特定パイプラインの外側の画像ストリームを処理するように構成され、従って、多数の既存システムのフロントエンドとして用いられるであろう。
【図１】
2021510823.tif 000021
【図２】
2021510823.tif 000022
【図３】
2021510823.tif 000023
【図４】
2021510823.tif 000024
【図５】
2021510823.tif 000025
【図６】
2021510823.tif 000026
【図７】
2021510823.tif 000027
【図８】
2021510823.tif 000028
【図９】
2021510823.tif 000029
【図１０】
2021510823.tif 000030
【図１１】
2021510823.tif 000031
【国際調査報告】
2021510823.tif 000032
2021510823.tif 000033
2021510823.tif 000034
2021510823.tif 000035
2021510823.tif 000036