(57)【要約】      （修正有）【課題】仮想と現実との間の差と注釈費用を減らすことができる、リアルイメージをバーチャルイメージに変換するランタイム入力変換を学習する、学習方法及び学習装置、テスト方法及びテスト装置を提供する。【解決手段】学習方法は、第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、第１イメージを第２イメージに変換させ、第１判別器をもって第１＿１結果を生成させ、第２変換器をもって、第２イメージを、リアルイメージと同一または類似する特性を有する第３イメージに変換させる段階と、第２変換器をもって、第４イメージを第５イメージに変換させ、第２判別器をもって第２＿１結果を生成させ、第１変換器をもって、第５イメージを第６イメージに変換させる段階及びロスを算出させる段階と、を含む。【選択図】図３
2020119553.tif 000002
【特許請求の範囲】
【請求項１】
サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換する学習方法において、
（ａ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換させる段階；
（ｂ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、前記学習装置が、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させる段階；及び
（ｃ）前記学習装置が、前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させる段階；
を含むことを特徴とする学習方法。
【請求項２】
前記（ｃ）段階で、
【数１】
2020119553.tif 000018
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数（ｃｏｎｓｔａｎｔ）であることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｃ）段階で、
前記学習装置は、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｃ）段階で、
【数２】
2020119553.tif 000019
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、
argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ  Ｌｏｓｓ）を意味し、λ1及びλ2は、それぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする請求項３に記載の方法。
【請求項５】
前記（ｃ）段階で、
【数３】
2020119553.tif 000020
前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする請求項１に記載の方法。
【請求項６】
前記（ｃ）段階で、
【数４】
2020119553.tif 000021
前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする請求項１に記載の方法。
【請求項７】
前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする請求項１に記載の方法。
【請求項８】
（ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする請求項７に記載の方法。
【請求項９】
前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ  Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする請求項８に記載の方法。
【請求項１０】
サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換するテスト方法において、
（１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つ��変換されたテストイメージに変換させることを特徴とするテスト方法。
【請求項１１】
前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする請求項１０に記載のテスト方法。
【請求項１２】
前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする請求項１０に記載の方法。
【請求項１３】
サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換する学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換するプロセス、（ＩＩ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させるプロセス、及び（ＩＩＩ）前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。
【請求項１４】
前記（ＩＩＩ）プロセスで、
【数５】
2020119553.tif 000022
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする請求項１３に記載の装置。
【請求項１６】
前記（ＩＩＩ）プロセスで、
【数６】
2020119553.tif 000023
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、
argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ  Ｌｏｓｓ）を意味し、λ1及びλ2はそれぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記（ＩＩＩ）プロセスで、
【数７】
2020119553.tif 000024
前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする請求項１３に記載の装置。
【請求項１８】
前記（ＩＩＩ）プロセスで、
【数８】
2020119553.tif 000025
前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする請求項１３に記載の装置。
【請求項１９】
前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする請求項１３に記載の装置。
【請求項２０】
（ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする請求項１９に記載の装置。
【請求項２１】
前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ  Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする請求項２０に記載の装置。
【請求項２２】
サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換するテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
（１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つの変換された��ストイメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも１つのプロセッサと、
を含むことを特徴とするテスト装置。
【請求項２３】
前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする請求項２２に記載のテスト装置。
【請求項２４】
前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする請求項２２に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行自動車、仮想走行などに使用される学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置に関し、より詳細には、サイクルＧＡＮを利用してリアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
最近、ＣＮＮは、自律走行自動車の分野で極めて広く使用されている。自律走行自動車分野で使用される場合、ＣＮＮは、自動車に取り付けられたカメラから映像を取得し、車線を探索するなどの役割を遂行する。このために、ＣＮＮは、現実世界におけるトレーニングイメージ及びそれに対応する原本正解を利用してパラメータを学習する。このような伝統的なアプローチ方法の短所は、現実世界におけるトレーニングイメージを取得し、それに対応する原本正解を生成するのにおいて、これはプログラミングされたコンピュータが自動的に処理することができず、人が投入されなければならないため、トレーニング過程においてかなりの費用と時間がかかる。
【０００４】
ＣＮＮをトレーニングする代案として提示されたのが、プログラミングされたコンピュータでシミュレーションされたバーチャル世界におけるバーチャルイメージを利用する方法である。この場合、バーチャルイメージとこれに対応する原本正解とは、プログラミングされたコンピュータを介して取得することができ、伝統的なアプローチ方法に比べてトレーニングの過程で費用と時間が顕著に節減されるようになる。
【０００５】
しかし、この場合の短所は、ＣＮＮがバーチャルイメージを利用してパラメータを学習するものであるところ、バーチャルイメージの特性と若干異なる特性を有するリアル世界に対するリアルイメージ内に含まれる物体検出の作業性に劣り得る問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述した問題点を解決することを目的とする。
【０００７】
本発明は、サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を通じて学習された変換器を介してリアルイメージをバーチャルイメージに変換することによって、バーチャル世界におけるバーチャルイメージを利用して学習された物体検出器をもって、リアル世界におけるリアルイメージに含まれている物体を検出させる方法を提供することを他の目的とする。
【課題を解決するための手段】
【０００８】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【０００９】
本発明の一態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換する学習方法において、（ａ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換させる段階；（ｂ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、前記学習装置が、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させる段階；及び（ｃ）前記学習装置が、前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させる段階；を含むことを特徴とする。
【００１０】
一実施例において、前記（ｃ）段階で、
【数１】
2020119553.tif 000003
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数（ｃｏｎｓｔａｎｔ）であることを特徴とする。
【００１１】
一実施例において、前記（ｃ）段階で、前記学習装置は、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする。
【００１２】
一実施例において、前記（ｃ）段階で、
【数２】
2020119553.tif 000004
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ  Ｌｏｓｓ）を意味し、λ1及びλ2はそれぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする。
【００１３】
一実施例において、前記（ｃ）段階で、
【数３】
2020119553.tif 000005
前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする。
【００１４】
一実施例において、前記（ｃ）段階で、
【数４】
2020119553.tif 000006
前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする。
【００１５】
一実施例において、前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする。
【００１６】
一実施例において、（ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする。
【００１７】
一実施例において、前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ  Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする。
【００１８】
本発明の他の態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換するテスト方法において、（１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第���判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つの変換されたテストイメージに変換させることを特徴とする。
【００１９】
一実施例において、前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする。
【００２０】
一実施例において、前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする。
【００２１】
本発明のまた他の態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換する学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）前記リアルイメージのうち一つである少なくとも一つの第１イメージを取得すると、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、前記第１イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものでなく前記バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記リアルイメージの少なくとも一部から変換されたものである前記バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記第２イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換するプロセス、（ＩＩ）前記バーチャルイメージのうち一つである少なくとも一つの第４イメージを取得すると、（ｉ）前記第２変換器をもって、前記第４イメージを、前記リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものでなく、前記リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記バーチャルイメージの少なくとも一部から変換されたものである前記リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記第５イメージを前記バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換させるプロセス、及び（ＩＩＩ）前記第１イメージと、前記第２イメージと、前記第３イメージと、前記第４イメージと、前記第５イメージと、前記第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させるプロセスを遂行す���ための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２２】
一実施例において、前記（ＩＩＩ）プロセスで、
【数５】
2020119553.tif 000007
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であることを特徴とする。
【００２３】
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）それ自体に入力されたイメージに含まれている少なくとも一つの仮想物体を検出する仮想物体検出器により生成された、前記第２イメージ及び前記第６イメージのうち少なくとも一部に対する仮想物体の検出結果、及び（ｉｉ）これに対応する原本正解が取得されると、ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記仮想物体の検出結果をさらに参照して前記少なくとも一つのロスの少なくとも一部を生成させることを特徴とする。
【００２４】
一実施例において、前記（ＩＩＩ）プロセスで、
【数６】
2020119553.tif 000008
前記少なくとも一つのロスに含まれる変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）は前記数式によって定義され、Iは前記第１イメージ、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果、F(G(I))は前記第３イメージ、Xは前記第４イメージ、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果、G(F(X))は前記第６イメージを意味し、γ及びβはそれぞれの|I-F(G(I))|及び|X-G(F(X))|のそれぞれの重み付け値を調整するための定数であり、argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))は、前記仮想物体の検出結果に対応する前記変換器ロスの部分ロス（Ｐａｒｔｉａｌ  Ｌｏｓｓ）を意味し、λ1及びλ2はそれぞれのOD(G(I))及びOD(G(F(X)))のそれぞれの重み付け値を調整するための定数であることを特徴とする。
【００２５】
一実施例において、前記（ＩＩＩ）プロセスで、
【数７】
2020119553.tif 000009
前記ロスに含まれる前記第１判別器用ＦＤロスは、前記数式によって定義され、VIは前記バーチャルイメージのうち任意のバーチャルイメージ、DG(VI)は前記任意のバーチャルイメージに対する前記第１判別器の判断内容である第１＿２結果、G(I)は前記第２イメージ、DG(G(I))は前記第１＿１結果を意味することを特徴とする。
【００２６】
一実施例において、前記（ＩＩＩ）プロセスで、
【数８】
2020119553.tif 000010
前記ロスに含まれる前記第２判別器用ＳＤロスは、前記数式によって定義され、RIは前記リアルイメージのうち任意のリアルイメージ、DF(RI)は前記任意のリアルイメージに対する前記第２判別器の判断内容である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は前記第２＿１結果を意味することを特徴とする。
【００２７】
一実施例において、前記第１変換器及び前記第２変換器それぞれは、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことを特徴とする。
【００２８】
一実施例において、（ｉ）（ｉ−１）前記第１変換器に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉ−２）前記第１変換器に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれている第１パラメータのうち少なくとも一部と、（ｉｉ）（ｉｉ−１）前記第２変換器に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ−２）前記第２変換器に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれている第２パラメータのうち少なくとも一部とは相互に関連して学習されるようにすることによって、前記第１パラメータと前記第２パラメータとの間の関連度が閾値を超過するようにすることを特徴とする。
【００２９】
一実施例において、前記第１特定エンコードレイヤ及び前記第１特定デコードレイヤは、前記第１エンコードレイヤと前記第１デコードレイヤとの間に位置する第１レイテントスペース（Ｌａｔｅｎｔ  Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ前記第１エンコードレイヤ及び前記第１デコードレイヤの中から選択され、前記第２特定エンコードレイヤ及び前記第２特定デコードレイヤは、前記第２エンコードレイヤと前記第２デコードレイヤとの間に位置する第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ前記第１デコードレイヤ及び前記第２デコードレイヤの中から選択されることを特徴とする。
【００３０】
本発明のまた他の態様によると、サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアル世界における少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）をバーチャル世界における少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）に変換するテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（１）学習装置が、（ｉ）第１変換器（Ｔｒａｎｓｆｏｒｍｅｒ）をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）をもって、前記学習用第２イメージが１次バーチャルイメージ（Ｐｒｉｍａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのか又は２次バーチャルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第１＿１結果を生成させ、前記１次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものでなく前記学習用バーチャルイメージの少なくとも一部であり、前記２次バーチャルイメージは、前記学習用リアルイメージの少なくとも一部から変換されたものである前記学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器をもって、前記学習用第２イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）前記学習装置が、（ｉ）前記第２変換器をもって、前記学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、前記学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器をもって、前記学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、前記１次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものでなく前記学習用リアルイメージの少なくとも一部であり、前記２次リアルイメージは、前記学習用バーチャルイメージの少なくとも一部から変換されたものである前記学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）前記第１変換器をもって、前記学習用第５イメージを前記学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）前記学習装置が、前記学習用第１イメージと、前記学習用第２イメージと、前記学習用第３イメージと、前記学習用第４イメージと、前記学習用第５イメージと、前記学習用第６イメージと、前記第１＿１結果と、前記第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算���することによって、前記第１変換器、前記第２変換器、前記第１判別器、及び前記第２判別器のパラメータのうち少なくとも一部を学習させた状態で、前記第１変換器をもって、前記テスト用リアルイメージのうち１つである少なくとも１つのテストイメージを取得させ、前記テストイメージを前記テスト用バーチャルイメージと同一または類似する少なくとも１つの特性を有する少なくとも１つの変換されたテストイメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも１つのプロセッサと、含むことを特徴とする。
【００３１】
一実施例において、前記変換されたテストイメージは、前記仮想物体検出器に含まれているパラメータを微調整（Ｆｉｎｅ−Ｔｕｎｉｎｇ）するために使用されることを特徴とする。
【００３２】
一実施例において、前記テストイメージは、自律走行車両に含まれているカメラにより取得された前記テスト用リアルイメージのうち１つであり、前記自律走行自動車に含まれている仮想物体検出器（Ｖｉｒｔｕａｌ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｏｒ）が、前記変換されたテストイメージに含まれている少なくとも１つの物体を検出することによって前記リアル世界における前記自律走行車両の走行を支援することを特徴とする。
【００３３】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３４】
本発明は、ドメイン適応に適用され得るサイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を通じてＲＧＢ形式のトレーニングイメージセットを非ＲＧＢ形式に変換することによって、非ＲＧＢ形式のトレーニングイメージセットが生じる問題を緩和する効果がある。
【図面の簡単な説明】
【００３５】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【００３６】
【図１】本発明の一実施例にしたがって、サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアルイメージをバーチャルイメージに変換する学習方法を遂行する学習装置を簡略に示した図面である。
【図２】本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換するための第１変換器及び第２変換器を簡略に示した図面である。
【図３】本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換する学習装置を簡略に示した図面である。
【図４】本発明の一実施例にしたがって、サイクルＧＡＮを利用して変換器ロス（Ｔｒａｎｓｆｏｒｍｅｒ  Ｌｏｓｓ）に含まれている部分ロス（Ｐａｒｔｉａｌ  Ｌｏｓｓ）を算出するプロセスを簡略に示した図面である。
【発明を実施するための形態】
【００３７】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３８】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３９】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定することができるであろう。
【００４０】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について添付された図面を参照して詳細に説明することにする。
【００４１】
図１は、本発明の一実施例にしたがって、サイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用してリアルイメージをバーチャルイメージに変換する学習方法を遂行する学習装置を簡略に示した図面である。
【００４２】
図１を参照すると、学習装置１００は、追って詳細に説明する構成要素である第１変換器１３０と、第１判別器１４０と、第２変換器１５０と、第２判別器１６０と、仮想物体検出器１７０とを含むことができる。第１変換器１３０、第１判別器１４０、第２変換器１５０、第２判別器１６０、及び仮想物体検出器１７０の入出力及び演算過程は、それぞれ通信部１１０及びプロセッサ１２０により行われ得る。ただし、図１では通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクションを格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行するように設定され、プロセッサ１２０は、追って説明するプロセスを遂行することによって本発明のプロセスを遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、媒体又は他のコンピューティング要素が統合された形態である統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）の組み合わせを含む場合を排除するわけではない。
【００４３】
この場合、第１変換器１３０及び第２変換器１５０は、それぞれそれ自体に入力されるイメージの特性を変換することができる。具体的には、第１変換器１３０は、リアル世界におけるリアルイメージのうち一つである少なくとも一つの第１入力イメージをバーチャル世界におけるバーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第１出力イメージ（Ｏｕｔｐｕｔ  Ｉｍａｇｅ）に変換することができる。そして、第２変換器１５０は、バーチャルイメージのうち一つである少なくとも一つの第２入力イメージをリアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第２出力イメージに変換することができる。
【００４４】
この場合、バーチャルイメージの少なくとも一つの特性とは、（ｉ）彩度が高く、（ｉｉ）コントラスト（Ｃｏｎｔｒａｓｔ）が高く、（ｉｉｉ）物体の細かいディテールはある程度省略されており、（ｉｖ）光線の相対的に単純かつ非現実的な移動経路を意味し得る。このようなバーチャルイメージの例示を、グランツーリスモ（Ｇｒａｎ  Ｔｕｒｉｓｍｏ）シリーズ、フォルツァ（Ｆｏｒｚａ）モータースポーツシリーズ、ＧＴＡシリーズなどのオープンワールドゲーム（Ｏｐｅｎ  Ｗｏｒｌｄ  Ｇａｍｅ）で確認することができる。しかし、本発明の範囲がこれに限定されるわけではない。
【００４５】
リアルイメージの少なくとも一つの特性とは、これとは反対に、（ｉ）彩度が低く、（ｉｉ）コントラストが少なく、（ｉｉｉ）物体の細かいディテールが十分に反映されており、（ｉｖ）光線の相対的に精巧かつ現実的な移動経路を意味する。しかし、本発明がこれに限定されるわけではない。以下、例示としての第１変換器１３０及び第２変換器１５０の構成を検討するために、図２を参照することにする。
【００４６】
図２は、本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換するための第１変換器及び第２変換器を簡略に示した図面である。
【００４７】
第１変換器１３０及び第２変換器１５０は、少なくとも一つのエンコードレイヤ及び少なくとも一つのデコードレイヤのうち少なくとも一部を含むことができる。エンコードレイヤは、入力されたイメージに対してコンボリューション演算を少なくとも一回適用することによって少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成し、デコードレイヤは前記特徴マップに対してデコンボリューション演算を少なくとも一回適用することによって、変換された特性を有するイメージを生成することができる。このように、それぞれの変換器は、リアルイメージをバーチャルイメージと同一または類似する特性を有するイメージに変換する方向、またはバーチャルイメージをリアルイメージと同一または類似する特性を有するイメージに変換する方向にそれぞれ変換することができる。第１判別器１４０及び第２判別器１６０は、それぞれに入力される入力イメージが変調した特性を有するイメージであるのか変調していない特性を有するイメージであるのかを判断することができる。具体的に、第１判別器１４０は、それ自体に入力された入力イメージが１次バーチャルイメージのうち一つであるのか２次バーチャルイメージのうち一つであるのかを判断することによって、前者の場合１を出力し、後者の場合０を出力することができる。この際、１次バーチャルイメージがリアルイメージの少なくとも一部から変換されたものでなく、バーチャルイメージの少なくとも一部であり、２次バーチャルイメージはリアルイメージの少なくとも一部から変換されたものであるバーチャルイメージの少なくとも一部である。また、第２判別器１６０は、それ自体に入力された入力イメージが１次リアルイメージのうち一つであるのか又は２次リアルイメージのうち一つであるのかを判断することによって、前者の場合１を出力し、後者の場合０を出力することができる。この際、１次リアルイメージは、バーチャルイメージの少なくとも一部から変換されたものでなくリアルイメージの少なくとも一部であり、２次リアルイメージは、バーチャルイメージの少なくとも一部から変換されたものであるリアルイメージの少なくとも一部である。第１判別器１４０及び第２判別器１６０もやはりＣＮＮで構成され得るが、本発明がこれに限定されるわけではない。
【００４８】
また、仮想物体検出器１７０は、少なくとも一つのＣＮＮで構成され得るが、具体的にコンボリューションレイヤ及びＦＣレイヤを含むことができる。コンボリューションレイヤは、それ自体に入力された入力イメージに対してコンボリューション演算を適用することによって特徴マップを生成し、ＦＣレイヤは、特徴マップに対してバウンディングボックスリグレッション（Ｂｏｕｎｄｉｎｇ  Ｂｏｘ  Ｒｅｇｒｅｓｓｉｏｎ）を適用することによって少なくとも１つの仮想物体を検出することができる。もちろん、仮想物体検出器１７０は、このような構成に限定されないであろう。一実施例において、仮想物体検出器１７０は、バーチャルイメージのうち少なくとも一部であるトレーニングイメージ及びこれに対する原本正解のセットを利用して学習がすでに完了された状態であり得る。
【００４９】
以上、本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアル世界における少なくとも一つのリアルイメージをバーチャル世界における少なくとも一つのバーチャルイメージに変換する学習方法を遂行するための学習装置１００の構成を考察したところ、本発明の学習方法に関して、図３を参照して具体的に検討することにする。
【００５０】
図３は、本発明の一実施例にしたがって、サイクルＧＡＮを利用してリアルイメージをバーチャルイメージに変換する学習装置を簡略に示した図面である。
【００５１】
図３を参照すると、第１変換器１３０と、第１判別器１４０と、第２変換器１５０と、第２判別器１６０と、仮想物体検出器１７０とが作動する概括的な方式を確認することができる。大きく二つのプロセスが存在するが、これを正方向プロセス１０１及び逆方向プロセス１０２と定義することにする。
【００５２】
正方向プロセス１０１において、リアルイメージのうち一つである少なくとも一つの第１イメージは、第１変換器１３０によりバーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第２イメージに変換された後、第２イメージを判断した結果である第１＿１結果が第１判別器１４０により生成され、第２イメージは、第２変換器１５０によりリアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第３イメージに変換される。第１＿１結果を生成するプロセスと第２イメージを第３イメージに変換するプロセスとは並列して遂行されるか、いずれか一つがより先に遂行されても構わない。
【００５３】
逆方向プロセス１０２において、バーチャルイメージのうち一つである少なくとも一つの第４イメージは、第２変換器１５０によりリアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第５イメージに変換された後、第５イメージを判断した結果である第２＿１結果が第２判別器１６０により生成され、第５イメージは、第１変換器１３０によりバーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの第６イメージに変換される。第２＿１結果を生成するプロセスと第５イメージを第６イメージに変換するプロセスとは並列して遂行されるか、いずれか一つがより先に遂行されても構わない。それ以外にも、正方向プロセス１０１と逆方向プロセス１０２とのうちいずれかがより先に遂行されても構わず、並列して遂行されてもよい。
【００５４】
このようなプロセスを経ることは、第１変換器１３０と、第１判別器１４０と、第２変換器１５０と、第２判別器１６０とをさらに十分に学習するための少なくとも一つのロスを算出するためである。これを具体的に説明するために、学習装置１００のそれぞれの構成要素を学習するためのロスを算出するプロセスを検討する。
【００５５】
まず、第１変換器１３０及び第２変換器１５０に適用される、少なくとも一つの変換器ロスについて検討すると以下の通りである。
【００５６】
【数９】
2020119553.tif 000011
前記少なくとも一つのロスに含まれている変換器ロスは、前記数式によって判断され得るが、Iは第１イメージ、G(I)は第２イメージ、DG(G(I))は第１＿１結果、F(G(I))は第３イメージ、Xは第４イメージ、F(X)は第５イメージ、DF(F(X))は第２＿１結果、G(F(X))は第６イメージを意味し、γ及びβは|I-F(G(I))|及び|X-G(F(X))|の重み付け値をそれぞれ調整するための定数（ｃｏｎｓｔａｎｔ）であり得る。
【００５７】
前記変換のための第１ロスにおいて、ａｒｇｍｉｎの伝達因子（Ａｒｇｕｍｅｎｔ）である項（Ｔｅｒｍ）について検討すると、log(1-DG(G(I)))は、第１変換器１３０が第１判別器１４０を欺く方向に学習させるための項である。すなわち、ａｒｇｍｉｎ関数は結果として生じる最終値が小さくなるように誘導するので、log(1-DG(G(I)))項も小さくさせる。しかし、ｌｏｇ関数は増加関数であるので、ｌｏｇ内の1-DG(G(I))が小さくなるように誘導する。すなわち、DG(G(I))が増加する。第１判別器１４０は、その特性が変換されていないイメージに対して１を出力するので、本項は第１変換器１３０が第１判別器１４０を欺く方向に学習させるためのものである。
【００５８】
二番目の項であるγ|I-F(G(I))|は、変換されたイメージが原本イメージと類似するように、すなわち、第２イメージを第１イメージと類似させることができる。第１変換器１３０が単に第１判別器１４０を欺く方向にのみ学習すると、イメージ内の特徴（Ｆｅａｔｕｒｅ）がそのまま保持されないことがあるので、原本との差を減らすようにする項を置いたのである。すなわち、第１イメージと第３イメージとの間の差であるI-F(G(I))を減らすようにすることが目的である。ここで、差とは、第１イメージ内のそれぞれの値と、これに対応する第３イメージ内のそれぞれの値との間の差を意味し得る。この二番目の項のため、正方向プロセス１０１において第２イメージを第３イメージに変換する部分が存在するのである。
【００５９】
３番目の項と４番目の項とは、それぞれ最初の項と２番目の項の役割とほぼ同じ役割をするが、異なる点は、３番目の項と４番目の項とは第２変換器１５０のための部分であるという点である。第２変換器１５０が十分に学習されなければ、２番目の項により第１変換器１３０が十分に学習され得ない。３番目の項と４番目の項で使用される値は、逆方向プロセス１０２で取得され得る。３番目の項と４番目の項に関するその他の具体的な事項は、最初の項及び２番目の項と大同小異であるので、前記段落に提示された内容を通じて通常の技術者が容易に類推し得るものであるところ、省略することにする。
【００６０】
この場合、数式に含まれているγとβは、前述したようにそれぞれ|I-F(G(I))|及び|X-G(F(X))|の重み付け値を調節するための定数であるが、２番目の項と４番目の項が公式にあまりにも多く反映されると変換後のイメージがぼやけてしまい、公式にあまりにも少なく反映されると、変換後のイメージが原本イメージの内容を反映することができなくなる。したがって、プログラマーがγとβとを調節することで、|I-F(G(I))|及び|X-G(F(X))|の影響力を調節することができる。
【００６１】
変換器ロスは、仮想物体検出器１７０により生成された仮想物体の検出結果に対応する部分ロスをさらに含むことができる。これを数式で表現すると次のとおりである。
【００６２】
【数１０】
2020119553.tif 000012
仮想物体の検出結果に対応する部分ロスは、argmax(λ1×OD(G(I))+λ2×OD(G(F(X))))項として表現される。ここで、λ1とλ2とは、OD(G(I))及びOD(G(F(X)))の重み付け値をそれぞれ調節する定数である。より詳細な説明は、図４を参照して検討する。
【００６３】
図４は、本発明の一実施例にしたがって、サイクルＧＡＮを利用して変換器ロスに含まれている部分ロスを算出するプロセスを簡略に示した図面である。
【００６４】
図４を参照すると、仮想物体検出器１７０を通じて生成された第２イメージ及び第６イメージに対する仮想物体の検出結果を利用して部分ロスを生成する特定プロセスを検討することができる。説明の便宜のために、まず第２イメージに対応する特定プロセスの第１部分について先に説明することにする。
【００６５】
仮想物体検出器１７０は、第２イメージに含まれている物体を検出し、それぞれの物体に対応するクラスの確率を含むそれぞれのソフトマックススコアを生成するようになる。第２イメージに含まれている特定物体に対応する部分ロスの特定部分は、特定のソフトマックススコアに含まれている少なくとも一つの第１の確率と少なくとも一つの第２の確率とを参照して生成され得る。この際、第１の確率は、物体クラス（例えば、歩行者クラスまたは自動車クラス）に含まれ得る特定の物体の確率を意味し、第２の確率は、背景クラス（例えば、空のクラス）に含まれ得る特定の物体の確率を意味する。一例として、部分ロスの特定部分は、（ｉ）第１の確率のうち最も大きな確率と、（ｉｉ）第２の確率を１から引いた値とを足し合わせた値が大きくなる方向に選択され得る。これを数式で表現すると以下のとおりである。
【００６６】
【数１１】
2020119553.tif 000013
前記数式で、
【数１２】
2020119553.tif 000014
は、ｉが特定の物体の個数を表す場合、第１の確率のうち最も大きな確率値を意味する。  そして、
【数１３】
2020119553.tif 000015
は、０が背景クラスを意味する場合、第２の確率と１との間の差を意味する。上述のような数式によって第２イメージに対応する部分ロスを生成する特定プロセスの第１部分が遂行され得る。第６イメージに対しても、前記第１部分とほぼ同じように第６イメージに対応する部分ロスを生成する特定プロセスの第２部分が遂行され得るはずである。
【００６７】
部分ロスは、変換プロセスの後にもイメージ内の物体のディテールをそのまま保持するために変換器ロスに含まれ得る。上記の公式の２番目と４番目の項及び部分ロスは、相互補完的に作用する。具体的に、２番目の項及び４番目の項は、上述したように変換されたイメージをこれに対応する原本イメージとほぼ同じように作成するが、これはイメージが概括的に類似するようになるだけで、原本イメージに含まれている物体のディテールを選択的、優先的にそのまま保持する役割はすることができない。反対に、部分ロスは、原本イメージに含まれている物体が変換されたイメージにもそのまま保持されるようにするが、原本イメージには存在しない新たな物体を変換されたイメージに生成することができる。しかしながら、原本イメージと変換されたイメージとの間の類似度を保持させる２番目の項及び４番目の項により所望しない新たな物体が生成される副作用を防止することができる。したがって、部分ロスを追加することによって第１変換器１３０が大きく最適化され得る。
【００６８】
以上、変換器ロスについて検討したところ、以下では、それぞれの判別器に適用されるロスを算出するプロセスについて検討することにする。
【００６９】
【数１４】
2020119553.tif 000016
第１判別器１４０用ロスであるＦＤロスは、前記数式によって定義され得る。この際、VIはバーチャルイメージのうち任意のイメージ、DG(VI)は第１判別器から生成された、前記任意のバーチャルイメージを判断した結果である第１＿２結果、G(I)は第２イメージ、DG(G(I))は第１＿１結果を意味することができる。ａｒｇｍａｘは全体の結果値が大きくなるように誘導するところ、DG(VI)が１と出力され、DG(G(I))が０と出力されるようにする。したがって、第１判別器１４０が入力されたイメージの特性が以前に変換されたのかを正確に判断することができるようになるのである。図４では第２イメージが入力されるプロセスのみが示されているが、第２イメージのような特性が変調したイメージのみが入力されたイメージに限定されるわけではなく、バーチャルイメージのうち一つである任意のイメージも入力することができる。よって、特性が変調したイメージと特性が変調していないイメージとを区分しつつ学習することができるのである。
【００７０】
【数１５】
2020119553.tif 000017
第２判別器に対するロスであるＳＤロスは、前記数式によって定義され得る。この際、RIはリアルイメージのうち任意のイメージ、DF(RI)は第２判別器から生成された、前記任意のリアルイメージを判断した結果である第２＿２結果、F(X)は前記第５イメージ、DF(F(X))は第２＿１結果を意味することができる。ＦＤロスと同様に、これは第２判別器１６０が入力されたイメージの特性が以前に変調したか否かを正確に判断することを可能にする。また、リアルイメージのうち一つである任意のイメージを入力して学習に使用することができる。
【００７１】
前記変換器ロスと、第１判別器に対するＦＤロスと、第２判別器に対するＳＤロスとを含む少なくとも一つのロスが算出されると、学習装置１００は、第１変換器１３０、第１判別器１４０、第２変換器１５０、第２判別器１６０のパラメータのうち少なくとも一部を学習することができる。
【００７２】
学習過程において、一般的には第１変換器１３０及び第２変換器１５０に含まれているエンコードレイヤ及びデコードレイヤは相互に関係なしに別途に学習され得る。一般的な実施例とは異なり、第１変換器１３０及び第２変換器１５０に含まれているレイヤは、相互に関連して学習することができる。このような学習プロセスは、下記で検討することにする。
【００７３】
具体的に第１パラメータは、（ｉ）第１変換器１３０に含まれている第１エンコードレイヤのうち少なくとも一部である少なくとも一つの第１特定エンコードレイヤ、及び（ｉｉ）第１変換器１３０に含まれている第１デコードレイヤのうち少なくとも一部である少なくとも一つの第１特定デコードレイヤに含まれ得る。また、第２パラメータは、（ｉ）前記第２変換器１５０に含まれている第２エンコードレイヤのうち少なくとも一部である少なくとも一つの第２特定エンコードレイヤ、及び（ｉｉ）第２変換器１５０に含まれている第２デコードレイヤのうち少なくとも一部である少なくとも一つの第２特定デコードレイヤに含まれ得る。
【００７４】
そして、第１パラメータのうち少なくとも一部と第２パラメータのうち少なくとも一部は、これらの間の関連度が所定の閾値以上になるように相互に関連して学習され得る。この際、関連度は、第１パラメータに含まれている各値と、第２パラメータのうちこれらと同じ位置の各値との間の割合を意味する。一実施例においては、第１パラメータのうち少なくとも一部はこれに対応する第２パラメータと同一の状態で学習され得る。
【００７５】
この際、第１特定エンコードレイヤ及び第１特定デコードレイヤは、第１レイテントスペース（Ｌａｔｅｎｔ  Ｓｐａｃｅ）から離れた少なくとも一つの第１距離（Ｄｉｓｔａｎｃｅ）が第１臨界距離未満になるようにそれぞれ第１エンコードレイヤ及び第１デコードレイヤのうちから選択され得る。ここで、第１レイテントスペースは、第１エンコードレイヤと第１デコードレイヤとの間に位置する、第１エンコードレイヤによって生成された第１特徴マップが位置する場所である。
【００７６】
第２特定エンコードレイヤ及び第２特定デコードレイヤは、第２レイテントスペースから離れた少なくとも一つの第２距離が第２臨界距離未満になるようにそれぞれ第２エンコードレイヤ及び第２デコードレイヤのうちから選択され得る。
【００７７】
レイテントスペースに近いレイヤ内のパラメータが変換器に入力されたイメージの内容に関する情報を多く含むため、このようなアプローチ法は変換プロセスを最適化することができ、これに伴って、リアルイメージとバーチャルイメージの両方で取得したロバスト情報（Ｒｏｂｕｓｔ  Ｉｎｆｏｒｍａｔｉｏｎ）が関連パラメータに反映され得る。
【００７８】
このように学習することによって、第１変換器１３０は、イメージの特性を変換しながらもイメージの内容は原本と同一または類似するように保持することができる。
【００７９】
学習過程は前記のとおりであり、学習が完了した後のテスト過程について検討することにする。
【００８０】
参考までに、以下の説明において、混同を避けるために「学習用」という文言は前述の学習プロセスに関する用語に対して追加され、「テスト用」という文言はテストプロセスに関する用語に対して追加される。
【００８１】
（１）学習装置１００が、リアルイメージのうち一つである少なくとも一つの学習用第１イメージを取得すると、（ｉ）第１変換器１３０をもって、学習用リアルイメージのうち一つである、少なくとも一つの学習用第１イメージを少なくとも一つの学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第２イメージに変換させ、（ｉｉ）（ｉｉ−１）第１判別器１４０をもって、学習用第２イメージが１次バーチャルイメージのうち一つであるのか又は２次バーチャルイメージのうち一つであるのかを判断させることによって第１＿１結果を生成させ、１次バーチャルイメージは学習用リアルイメージの少なくとも一部から変換されたものでなく学習用バーチャルイメージの少なくとも一部であり、２次バーチャルイメージは、学習用リアルイメージの少なくとも一部から変換されたものである学習用バーチャルイメージの少なくとも一部であり、（ｉｉ−２）第２変換器１５０をもって、学習用第２イメージを、学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第３イメージに変換させ、（２）学習装置１００が、（ｉ）第２変換器１５０をもって、学習用バーチャルイメージのうち一つである少なくとも一つの学習用第４イメージを、学習用リアルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第５イメージに変換させ、（ｉｉ）（ｉｉ−１）第２判別器１５０をもって、学習用第５イメージが１次リアルイメージ（Ｐｒｉｍａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのか２次リアルイメージ（Ｓｅｃｏｎｄａｒｙ  Ｒｅａｌ  Ｉｍａｇｅ）のうち一つであるのかを判断させることによって第２＿１結果を生成させ、１次リアルイメージは、学習用バーチャルイメージの少なくとも一部から変換されたものでなく学習用リアルイメージの少なくとも一部であり、２次リアルイメージは、学習用バーチャルイメージの少なくとも一部から変換されたものである学習用リアルイメージの少なくとも一部であり、（ｉｉ−２）第１変換器をもって、学習用第５イメージを学習用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの学習用第６イメージに変換させ、（３）学習装置１００が、学習用第１イメージと、学習用第２イメージと、学習用第３イメージと、学習用第４イメージと、学習用第５イメージと、学習用第６イメージと、第１＿１結果と、第２＿１結果とのうち少なくとも一部を参照して少なくとも一つのロスを算出することによって、第１変換器、第２変換器、第１判別器、及び第２判別器のパラメータのうち少なくとも一部を学習させた状態で、テスト装置が第１変換器１３０をもって、テスト用リアルイメージのうち一つである少なくとも一つのテストイメージを取得させることができる。以後、テスト装置は、第１変換器１３０をもって、テストイメージをテスト用バーチャルイメージと同一または類似する少なくとも一つの特性を有する少なくとも一つの変換されたテストイメージに変換させることができる。
【００８２】
テスト装置は、第２変換器１５０と、第１判別器１４０と、第２判別器１６０とは除いて、図１に示した学習装置１００の構成を含む。
【００８３】
ただし、仮想物体検出器１７０は、第１変換器１３０の学習プロセス及びテストプロセス以前にすでに学習されたものであるが、微調整用イメージ及びこれに対する原本正解をさらに利用して仮想物体検出器１７０に含まれているパラメータを微調整することができる。微調整プロセスは第１変換器１３０の学習プロセスと類似するので、具体的な説明は省略することにする。ただし、これは、本発明を遂行する上で必須ではない。
【００８４】
以後、仮想物体検出器１７０及び第１変換器１３０を含むテスト装置は、自律走行車両の走行を支援するのに使用され得る。具体的に、自律走行車両に含まれているカメラによって、リアルイメージの少なくとも一部であるテストイメージが取得されると、テスト装置１００が第１変換器１３０をもって、テストイメージを変換されたテストイメージに変換させ、仮想物体検出器１７０をもって、バーチャルイメージと同一または類似する特性を有する変換されたテストイメージに含まれている物体を検出させることによって、リアル世界で自律走行車両の走行を支援させることができる。
【００８５】
このようなテスト過程を通じて、バーチャル世界に関する情報を利用して学習された仮想物体検出器１７０をリアル世界の自律走行に使用し得るようになる。
【００８６】
本発明の肯定的な効果は、バーチャル世界におけるバーチャルイメージを使用して学習された物体検出器をもって、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して学習された変換器を通じてリアルイメージをバーチャルイメージに変換することによってリアル世界におけるリアルイメージに含まれる物体を検出させる方法を提供することである。
【００８７】
したがって、本発明による方法は、ランタイム入力変換器を利用して仮想走行の環境で使用され得る。また、この方法は、仮想と現実との間の差と注釈（Ａｎｎｏｔａｔｉｏｎ）費用を減らすことができる。
【００８８】
本発明の技術分野における通常の技術者に理解され得るところとして、上記で説明されたイメージ、例えば、原本イメージ、原本ラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
【００８９】
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００９０】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００９１】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【００９２】
本発明は、ドメイン適応に適用され得るサイクルＧＡＮを利用してリアルイメージ上の物体検出に使用される、リアル世界におけるリアルイメージをバーチャル世界におけるバーチャルイメージに変換するランタイム入力変換のための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＬＥＡＲＮＩＮＧ  ＤＥＶＩＣＥ  ＦＯＲ  ＲＵＮＴＩＭＥ  ＩＮＰＵＴ  ＴＲＡＮＳＦＯＲＭＡＴＩＯＮ  ＯＦ  ＲＥＡＬ  ＩＭＡＧＥ  ＯＮ  ＲＥＡＬ  ＷＯＲＬＤ  ＩＮＴＯ  ＶＩＲＴＵＡＬ  ＩＭＡＧＥ  ＯＮ  ＶＩＲＴＵＡＬ  ＷＯＲＬＤ，  ＴＯ  ＢＥ  ＵＳＥＤ  ＦＯＲ  ＯＢＪＥＣＴ  ＤＥＴＥＣＴＩＯＮ  ＯＮ  ＲＥＡＬ  ＩＭＡＧＥＳ，  ＢＹ  ＵＳＩＮＧ  ＣＹＣＬＥ  ＧＡＮ  ＣＡＰＡＢＬＥ  ＯＦ  ＢＥＩＮＧ  ＡＰＰＬＩＥＤ  ＴＯ  ＤＯＭＡＩＮ  ＡＤＡＰＴＡＴＩＯＮ｝に関する。
【図１】
2020119553.tif 000026
【図２】
2020119553.tif 000027
【図３】
2020119553.tif 000028
【図４】
2020119553.tif 000029