(57)【要約】      （修正有）【課題】ドメイン適応に適用され得るサイクルＧＡＮを通じてＲＧＢ形式のトレーニングイメージセットを非ＲＧＢ形式に変換することによって非ＲＧＢ形式のトレーニングイメージセットが生じる問題を緩和する。【解決手段】生成ネットワーク及び判別ネットワークを含むＧＡＮを利用して、リアルイメージから導き出されたリアル特徴マップと同一または類似する特性を有するバーチャルイメージからバーチャル特徴マップを導き出す学習方法であって、学習装置が、生成ネットワークをもって、入力イメージに対してコンボリューション演算を適用させて、リアル特徴マップと同一または類似する特性を有する出力特徴マップを生成させる段階及び第１ロスユニットをもって、出力特徴マップに対応する、判別ネットワークにより生成された評価スコアを参照してロスを生成させる段階と、を含む。【選択図】図２
2020119554.tif 000002
【特許請求の範囲】
【請求項１】
生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのリアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのバーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出す学習方法において、
（ａ）前記バーチャルイメージのうち１つである少なくとも１つの入力イメージが取得されると、学習装置が、前記生成ネットワークをもって、前記入力イメージに対してコンボリューション演算を少なくとも１回適用させて、前記リアル特徴マップと同一または類似する特性を有する少なくとも１つの出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させる段階；及び
（ｂ）前記出力特徴マップに対応する、前記判別ネットワークにより生成された少なくとも一つの評価スコア（Ｅｖａｌｕａｔｉｏｎ  Ｓｃｏｒｅ）が取得されると、前記学習装置が、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させる段階；
を含むことを特徴とする方法。
【請求項２】
前記学習装置は、それ自体に入力された特徴マップが前記リアル特徴マップのうち一つであるのか、または前記バーチャル特徴マップのうち一つであるのかを判断することができる前記判別ネットワークをもって、前記出力特徴マップがリアル（Ｒｅａｌ）出力特徴マップであるのかバーチャル（Ｆａｋｅ）出力特徴マップであるのかに関する少なくとも１つの確率を生成させることによって前記評価スコアを生成させることを特徴とする請求項１に記載の方法。
【請求項３】
前記出力特徴マップと、前記リアルイメージの一部を利用して生成された少なくとも一つの学習用リアル特徴マップと、これに対応する原本正解とが取得されると、前記判別ネットワークは、これに対応する第２ロスユニットをもって、（ｉ）前記判別ネットワークにより生成された前記出力特徴マップと前記学習用リアル特徴マップとに関する学習用評価スコアと（ｉｉ）前記原本正解とを参照して少なくとも一つの第２ロスを生成させ、これをバックプロパゲーションすることによって前記判別ネットワークのパラメータを学習させて、入力される一部の特徴マップがリアル特徴マップであるのかバーチャル特徴マップであるのかに関する確率を判断し得るようにすることを特徴とする請求項２に記載の方法。
【請求項４】
前記学習装置が、物体検出ネットワークをもって、前記出力特徴マップを参照して、前記入力イメージに含まれている少なくとも一つの物体それぞれに対応する少なくとも一つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）それぞれを生成させることを特徴とする請求項１に記載の方法。
【請求項５】
前記学習装置が、第３ロスユニットをもって、前記クラススコア及びこれに対応する原本正解を参照して少なくとも一つの第３ロスを生成させ、前記第３ロスをバックプロパゲーションすることによって前記生成ネットワーク及び前記物体検出ネットワークのパラメータを学習させることを特徴とする請求項４に記載の方法。
【請求項６】
ＲＰＮにより生成された前記入力イメージ上の少なくとも一つのそれぞれのＲＯＩが取得されると、前記物体検出ネットワークが、コンボリューションレイヤをもって、それぞれの前記ＲＯＩに対応する前記出力特徴マップ上の領域それぞれに対してコンボリューション演算を少なくとも一回適用させてＲＯＩごとの部分特徴マップ（Ｐａｒｔｉａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）それぞれを生成させ、ＦＣレイヤをもって前記部分特徴マップそれぞれを参照して、前記入力イメージに含まれている前記物体の少なくとも一つのクラスそれぞれに関する情報を生成させて前記クラススコアを生成させることを特徴とする請求項４に記載の方法。
【請求項７】
前記ＲＰＮは、それぞれの前記ＲＯＩ及びこれに対応するそれぞれの原本正解を参照して少なくとも一つのＲＰＮロスを生成し、これをバックプロパゲーションして前記ＲＰＮのパラメータを学習することによって、入力される一部のイメージに含まれている一部の物体がＲＰＮにより生成された一部ＲＯＩに位置する確率が高くなるようにすることを特徴とする請求項６に記載の方法。
【請求項８】
生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのテスト用リアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのテスト用バーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出すテスト方法において、
（１）学習装置が、前記生成ネットワークをもって、前記バーチャルイメージのうち一つである少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて、少なくとも一つの学習用リアル特徴マップと同一または類似する特性を有する少なくとも一つの学習用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（２）前記学習装置が、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記学習用出力特徴マップに対応する、前記判別ネットワークで生成された少なくとも一つの評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させた状態で、前記バーチャルイメージのうち一つである少なくとも一つのテストイメージが取得されると、テスト装置が、前記生成ネットワークをもって、前記テストイメージに対してコンボリューション演算を少なくとも一回適用させて、前記テスト用リアル特徴マップと同一または類似する特性を有する少なくとも一つのテスト用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させることを特徴とする方法。
【請求項９】
物体検出ネットワークは、前記テスト用出力特徴マップを参照して前記テストイメージに含まれている少なくとも一つの物体を検出することを特徴とする請求項８に記載の方法。
【請求項１０】
前記テストイメージは、前記物体検出ネットワークを含む自律走行車両に含まれているカメラを介して取得され、前記物体検出ネットワークは前記テストイメージを利用して前記自律走行車両を支援することを特徴とする請求項９に記載の方法。
【請求項１１】
生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのリアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのバーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出す学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）前記バーチャルイメージのうち一つである少なくとも一つの入力イメージが取得されると、前記生成ネットワークをもって、前記入力イメージに対してコンボリューション演算を少なくとも一回適用させて、前記リアル特徴マップと同一または類似する特性を有する少なくとも一つの出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるプロセス；及び（ＩＩ）前記出力特徴マップに対応する、前記判別ネットワークにより生成された少なくとも一つの評価スコア（Ｅｖａｌｕａｔｉｏｎ  Ｓｃｏｒｅ）が取得されると、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。
【請求項１２】
前記プロセッサは、それ自体に入力された特徴マップが前記リアル特徴マップのうち一つであるのか、または前記バーチャル特徴マップのうち一つであるのかを判断することができる前記判別ネットワークをもって、前記出力特徴マップがリアル（Ｒｅａｌ）出力特徴マップであるのかバーチャル（Ｆａｋｅ）出力特徴マップであるのかに関する少なくとも１つの確率を生成させることによって前記評価スコアを生成させることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記出力特徴マップと、前記リアルイメージの一部を利用して生成された少なくとも一つの学習用リアル特徴マップと、これに対応する原本正解とが取得されると、前記判別ネットワークは、これに対応する第２ロスユニットをもって、（ｉ）前記判別ネットワークにより生成された前記出力特徴マップと前記学習用リアル特徴マップとに関する学習用評価スコアと（ｉｉ）前記原本正解とを参照して少なくとも一つの第２ロスを生成させ、これをバックプロパゲーションすることによって前記判別ネットワークのパラメータを学習させて、入力される一部の特徴マップがリアル特徴マップであるのかバーチャル特徴マップであるのかに関する確率を判断し得るようにすることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記プロセッサが、物体検出ネットワークをもって、前記出力特徴マップを参照して、前記入力イメージに含まれている少なくとも一つの物体それぞれに対応する少なくとも一つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）それぞれを生成させることを特徴とする請求項１１に記載の装置。
【請求項１５】
前記プロセッサが、第３ロスユニットをもって、前記クラススコア及びこれに対応する原本正解を参照して少なくとも一つの第３ロスを生成させ、前記第３ロスをバックプロパゲーションすることによって前記生成ネットワーク及び前記物体検出ネットワークのパラメータを学習させることを特徴とする請求項１４に記載の装置。
【請求項１６】
ＲＰＮにより生成された前記入力イメージ上の少なくとも一つのそれぞれのＲＯＩが取得されると、前記物体検出ネットワークが、コンボリューションレイヤをもって、それぞれの前記ＲＯＩに対応する前記出力特徴マップ上の領域それぞれに対してコンボリューション演算を少なくとも一回適用させてＲＯＩごとの部分特徴マップ（Ｐａｒｔｉａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）それぞれを生成させ、ＦＣレイヤをもって前記部分特徴マップそれぞれを参照して、前記入力イメージに含まれている前記物体の少なくとも一つのクラスそれぞれに関する情報を生成させて前記クラススコアを生成させることを特徴とする請求項１４に記載の装置。
【請求項１７】
前記ＲＰＮは、それぞれの前記ＲＯＩ及びこれに対応するそれぞれの原本正解を参照して少なくとも一つのＲＰＮロスを生成し、これをバックプロパゲーションして前記ＲＰＮのパラメータを学習することによって、入力される一部のイメージに含まれている一部の物体がＲＰＮにより生成された一部のＲＯＩに位置する確率が高くなるようにすることを特徴とする請求項１６に記載の装置。
【請求項１８】
生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのテスト用リアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのテスト用バーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出すテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
（１）学習装置が、前記生成ネットワークをもって、前記バーチャルイメージのうち一つである少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて、少なくとも一つの学習用リアル特徴マップと同一または類似する特性を有する少なくとも一つの学習用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（２）前記学習装置が、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記学習用出力特徴マップに対応する、前記判別ネットワークで生成された少なくとも一つの評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させた状態で、前記バーチャルイメージのうち一つである少なくとも一つのテストイメージが取得されると、前記生成ネットワークをもって、前記テストイメージに対してコンボリューション演算を少なくとも一回適用させて、前記テスト用リアル特徴マップと同一または類似する特性を有する少なくとも一つのテスト用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。
【請求項１９】
物体検出ネットワークは、前記テスト用出力特徴マップを参照して前記テストイメージに含まれている少なくとも一つの物体を検出することを特徴とする請求項１８に記載の装置。
【請求項２０】
前記テストイメージは、前記物体検出ネットワークを含む自律走行車両に含まれているカメラを介して取得され、前記物体検出ネットワークは前記テストイメージを利用して前記自律走行車両を支援することを特徴とする請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想走行の環境で使用される学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置に関し、ＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使用されるようになったのは最近の研究結果の賜物である。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
最近、ＣＮＮは、自律走行自動車の分野で極めて広く使用されている。自律走行自動車の分野で使用される場合、ＣＮＮは、自動車に取り付けられたカメラから映像を取得し、車線を探索するなどの役割を遂行する。このために、ＣＮＮ  は、現実世界でのトレーニングイメージ及びこれに対応する原本正解を利用してパラメータを学習する。このような伝統的なアプローチ方法の短所は、現実世界でのトレーニングイメージを取得し、これに対応する原本正解を生成するのにおいて、これはプログラミングされたコンピュータが自動的に処理することができず、人が投入されなければならないため、トレーニング過程において費用と時間がかなりかかる。
【０００４】
ＣＮＮをトレーニングする代案として提示されたのが、プログラミングされたコンピュータでシミュレーションされた仮想世界におけるバーチャルイメージを利用する方法である。この際、バーチャルイメージとこれに対応する原本正解とは、プログラミングされたコンピュータを介して取得することができ、伝統的なアプローチ方法に比べてトレーニングの過程で費用と時間とが著しく節減されるようになる。
【０００５】
しかし、この場合の短所は、ＣＮＮがバーチャルイメージを利用してパラメータを学習するものであるところ、バーチャルイメージの特性と若干異なる特性を有するリアルの世界に対するリアルイメージ内に含まれる物体検出の作業性に劣り得る問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述した問題点を解決することを目的とする。
【０００７】
本発明はＧＡＮを利用して、リアルイメージを使用して生成されたリアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する方法を提示することによって、リアルイメージ（例えば、テストイメージ）に含まれている物体を検出するように、バーチャルイメージを利用して物体検出器を学習させることを他の目的とする。
【課題を解決するための手段】
【０００８】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【０００９】
本発明の一態様によると、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのリアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのバーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出す学習方法において、（ａ）前記バーチャルイメージのうち１つである少なくとも１つの入力イメージが取得されると、学習装置が、前記生成ネットワークをもって、前記入力イメージに対してコンボリューション演算を少なくとも１回適用させ、前記リアル特徴マップと同一または類似する特性を有する少なくとも１つの出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させる段階；及び（ｂ）前記出力特徴マップに対応する、前記判別ネットワークにより生成された少なくとも一つの評価スコア（Ｅｖａｌｕａｔｉｏｎ  Ｓｃｏｒｅ）が取得されると、前記学習装置が、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させる段階；を含むことを特徴とする。
【００１０】
一実施例において、前記学習装置は、それ自体に入力された特徴マップが前記リアル特徴マップのうち一つであるのか、または前記バーチャル特徴マップのうち一つであるのかを判断することができる前記判別ネットワークをもって、前記出力特徴マップがリアル（Ｒｅａｌ）出力特徴マップであるのかバーチャル（Ｆａｋｅ）出力特徴マップであるのかに関する少なくとも１つの確率を生成させることによって前記評価スコアを生成させることを特徴とする。
【００１１】
一実施例において、前記出力特徴マップと、前記リアルイメージの一部を利用して生成された少なくとも一つの学習用リアル特徴マップと、これに対応する原本正解とが取得されると、前記判別ネットワークは、これに対応する第２ロスユニットをもって、（ｉ）前記判別ネットワークにより生成された前記出力特徴マップと前記学習用リアル特徴マップとに関する学習用評価スコアと（ｉｉ）前記原本正解とを参照して少なくとも一つの第２ロスを生成させ、これをバックプロパゲーションすることによって前記判別ネットワークのパラメータを学習させて、入力される一部の特徴マップがリアル特徴マップであるのかバーチャル特徴マップであるのかに関する確率を判断し得るようにすることを特徴とする。
【００１２】
一実施例において、前記学習装置が、物体検出ネットワーをもって、前記出力特徴マップを参照して、前記入力イメージに含まれている少なくとも一つの物体それぞれに対応する少なくとも一つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）それぞれを生成させることを特徴とする。
【００１３】
一実施例において、前記学習装置が、第３ロスユニットをもって、前記クラススコア及びこれに対応する原本正解を参照して少なくとも一つの第３ロスを生成させ、前記第３ロスをバックプロパゲーションすることによって前記生成ネットワーク及び前記物体検出ネットワークのパラメータを学習させることを特徴とする。
【００１４】
一実施例において、ＲＰＮにより生成された前記入力イメージ上の少なくとも一つのそれぞれのＲＯＩが取得されると、前記物体検出ネットワークが、コンボリューションレイヤをもって、それぞれの前記ＲＯＩに対応する前記出力特徴マップ上の領域それぞれに対してコンボリューション演算を少なくとも一回適用させてＲＯＩごとの部分特徴マップ（Ｐａｒｔｉａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）それぞれを生成させ、ＦＣレイヤをもって前記部分特徴マップそれぞれを参照して、前記入力イメージに含まれている前記物体の少なくとも一つのクラスそれぞれに関する情報を生成させて前記クラススコアを生成させることを特徴とする。
【００１５】
一実施例において、前記ＲＰＮは、それぞれの前記ＲＯＩ及びこれに対応するそれぞれの原本正解を参照して少なくとも一つのＲＰＮロスを生成し、これをバックプロパゲーションして前記ＲＰＮのパラメータを学習することによって、入力される一部のイメージに含まれている一部の物体がＲＰＮにより生成された一部ＲＯＩに位置する確率が高くなるようにすることを特徴とする。
【００１６】
本発明の他の態様によると、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのテスト用リアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのテスト用バーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出すテスト方法において、（１）学習装置が、前記生成ネットワークをもって、前記バーチャルイメージのうち一つである少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて、少なくとも一つの学習用リアル特徴マップと同一または類似する特性を有する少なくとも一つの学習用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（２）前記学習装置が、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記学習用出力特徴マップに対応する、前記判別ネットワークで生成された少なくとも一つの評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させた状態で、前記バーチャルイメージのうち一つである少なくとも一つのテストイメージが取得されると、テスト装置が、前記生成ネットワークをもって、前記テストイメージに対してコンボリューション演算を少なくとも一回適用させ、前記テスト用リアル特徴マップと同一または類似する特性を有する少なくとも一つのテスト用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させることを特徴とする。
【００１７】
一実施例において、物体検出ネットワークは、前記テスト用出力特徴マップを参照して前記テストイメージに含まれている少なくとも一つの物体を検出することを特徴とする。
【００１８】
一実施例において、前記テストイメージは、前記物体検出ネットワークを含む自律走行車両に含まれているカメラを介して取得され、前記物体検出ネットワークは前記テストイメージを利用して前記自律走行車両を支援することを特徴とする。
【００１９】
本発明の他の態様によると、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのリアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのバーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出す学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）前記バーチャルイメージのうち一つである少なくとも一つの入力イメージが取得されると、前記生成ネットワークをもって、前記入力イメージに対してコンボリューション演算を少なくとも一回適用させて、前記リアル特徴マップと同一または類似する特性を有する少なくとも一つの出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるプロセス；及び（ＩＩ）前記出力特徴マップに対応する、前記判別ネットワークにより生成された少なくとも一つの評価スコア（Ｅｖａｌｕａｔｉｏｎ  Ｓｃｏｒｅ）が取得されると、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２０】
一実施例において、前記プロセッサは、それ自体に入力された特徴マップが前記リアル特徴マップのうち一つであるのか、または前記バーチャル特徴マップのうち一つであるのかを判断することができる前記判別ネットワークをもって、前記出力特徴マップがリアル（Ｒｅａｌ）出力特徴マップであるのかバーチャル（Ｆａｋｅ）出力特徴マップであるのかに関する少なくとも１つの確率を生成させることによって前記評価スコアを生成させることを特徴とする。
【００２１】
一実施例において、前記出力特徴マップと、前記リアルイメージの一部を利用して生成された少なくとも一つの学習用リアル特徴マップと、これに対応する原本正解とが取得されると、前記判別ネットワークは、これに対応する第２ロスユニットをもって、（ｉ）前記判別ネットワークにより生成された前記出力特徴マップと前記学習用リアル特徴マップとに関する学習用評価スコアと（ｉｉ）前記原本正解とを参照して少なくとも一つの第２ロスを生成させ、これをバックプロパゲーションすることによって前記判別ネットワークのパラメータを学習させて、入力される一部の特徴マップがリアル特徴マップであるのかバーチャル特徴マップであるのかに関する確率を判断し得るようにすることを特徴とする。
【００２２】
実施例において、前記プロセッサが、物体検出ネットワークをもって、前記出力特徴マップを参照して、前記入力イメージに含まれている少なくとも一つの物体それぞれに対応する少なくとも一つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）それぞれを生成させることを特徴とする。
【００２３】
一実施例において、前記プロセッサが、第３ロスユニットをもって、前記クラススコア及びこれに対応する原本正解を参照して少なくとも一つの第３ロスを生成させ、前記第３ロスをバックプロパゲーションすることによって前記生成ネットワーク及び前記物体検出ネットワークのパラメータを学習させることを特徴とする。
【００２４】
一実施例において、ＲＰＮにより生成された前記入力イメージ上の少なくとも一つのそれぞれのＲＯＩが取得されると、前記物体検出ネットワークが、コンボリューションレイヤをもって、それぞれの前記ＲＯＩに対応する前記出力特徴マップ上の領域それぞれに対してコンボリューション演算を少なくとも一回適用させてＲＯＩごとの部分特徴マップ（Ｐａｒｔｉａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）それぞれを生成させ、ＦＣレイヤをもって前記部分特徴マップそれぞれを参照して、前記入力イメージに含まれている前記物体の少なくとも一つのクラスそれぞれに関する情報を生成させて前記クラススコアを生成させることを特徴とする。
【００２５】
実施例において、前記ＲＰＮは、それぞれの前記ＲＯＩ及びこれに対応するそれぞれの原本正解を参照して少なくとも一つのＲＰＮロスを生成し、これをバックプロパゲーションして前記ＲＰＮのパラメータを学習することによって、入力される一部のイメージに含まれている一部の物体がＲＰＮにより生成された一部のＲＯＩに位置する確率が高くなるようにすることを特徴とする。
【００２６】
本発明の他の態様によると、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）及び判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）を含むＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して、少なくとも一つのリアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）から導き出された少なくとも一つのテスト用リアル特徴マップ（Ｒｅａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）と同一または類似する少なくとも一つの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する少なくとも一つのバーチャルイメージ（Ｖｉｒｔｕａｌ  Ｉｍａｇｅ）から少なくとも一つのテスト用バーチャル特徴マップ（Ｖｉｒｔｕａｌ  Ｆｅａｔｕｒｅ  Ｍａｐ）を導き出すテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（１）学習装置が、前記生成ネットワークをもって、前記バーチャルイメージのうち一つである少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて、少なくとも一つの学習用リアル特徴マップと同一または類似する特性を有する少なくとも一つの学習用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（２）前記学習装置が、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、前記学習用出力特徴マップに対応する、前記判別ネットワークで生成された少なくとも一つの評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させた状態で、前記バーチャルイメージのうち一つである少なくとも一つのテストイメージが取得されると、前記生成ネットワークをもって、前記テストイメージに対してコンボリューション演算を少なくとも一回適用させ、前記テスト用リアル特徴マップと同一または類似する特性を有する少なくとも一つのテスト用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２７】
一実施例において、物体検出ネットワークは、前記テスト用出力特徴マップを参照して前記テストイメージに含まれている少なくとも一つの物体を検出することを特徴とする。
【００２８】
一実施例において、前記テストイメージは、前記物体検出ネットワークを含む自律走行車両に含まれているカメラを介して取得され、前記物体検出ネットワークは前記テストイメージを利用して前記自律走行車両を支援することを特徴とする。
【００２９】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３０】
本発明は、ドメイン適応に適用され得るサイクルＧＡＮ（Ｃｙｃｌｅ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を通じてＲＧＢ形式のトレーニングイメージセットを非ＲＧＢ形式に変換することによって非ＲＧＢ形式のトレーニングイメージセットが生じる問題を緩和する効果がある。
【図面の簡単な説明】
【００３１】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【００３２】
【図１】本発明の一実施例による、ＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する方法を遂行するための学習装置の構成を示した図面である。
【図２】本発明の一実施例による、ＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法のチャートを簡略に示した図面である。
【図３】本発明の一実施例による、ＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法を遂行するための物体検出ネットワーク、及びこれに対応するＲＰＮを簡略に示した図面である。
【発明を実施するための形態】
【００３３】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３４】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３５】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３６】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について添付された図面を参照して詳細に説明することにする。
【００３７】
図１は、本発明の一実施例による、ＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する方法を遂行するための学習装置の構成を示した図面である。
【００３８】
図１を参照すると、学習装置１００は、追って詳細に説明する構成要素である生成ネットワーク１３０と、判別ネットワーク１４０と、物体検出ネットワーク１５０と、第１ロスユニット１６０と、第２ロスユニット１７０と、第３ロスユニット１８０とを含むことができる。生成ネットワーク１３０、判別ネットワーク１４０及び物体検出ネットワーク１５０、第１ロスユニット１６０、第２ロスユニット１７０、及び第３ロスユニット１８０の入出力及び演算の過程は、それぞれ通信部１１０及びプロセッサ１２０により行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行するように設定され、プロセッサ１２０は、追って説明するプロセスを遂行することによって本発明を遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、媒体又は他のコンピューティング要素の組み合わせを含む場合を排除するわけではない。
【００３９】
以上、本発明の一実施例にしたがって、ＧＡＮを利用してリアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する方法を遂行する学習装置１００の構成を考察してみたところ、以下、このような方法について説明することにし、そのために図２を参照する。
【００４０】
図２は、本発明の一実施例による、ＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法のチャートを簡略に示した図面である。
【００４１】
図２を参照すると、学習方法の概略的なチャートを知ることができる。まず、少なくとも一つの入力イメージが取得されると、生成ネットワーク１３０は、少なくとも一つの出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成し、これを判別ネットワーク１４０及び物体検出ネットワーク１５０に伝達することができる。以後、判別ネットワーク１４０は、出力特徴マップに対する少なくとも一つの評価スコア（Ｅｖａｌｕａｔｉｏｎ  Ｓｃｏｒｅ）を生成して、これを第１ロスユニット１６０及び第２ロスユニット１７０に伝達することができる。また、物体検出ネットワーク１５０は、少なくとも一つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）を生成し、これを第３ロスユニット１８０に伝達することができる。第１ロスユニット１６０、第２ロスユニット１７０及び第３ロスユニット１８０は、それぞれ少なくとも一つの第１ロスと、少なくとも一つの第２ロスと、少なくとも一つの第３ロスとを生成した後、それぞれに対応するネットワークをもって、これをバックプロパゲーションすることによって第１ロスユニット１６０、第２ロスユニット１７０及び第３ロスユニット１８０のパラメータを学習させることを支援し得る。
【００４２】
具体的に、学習装置１００は、少なくとも一つの前記入力イメージを取得し、これを生成ネットワーク１３０に入力することができる。入力イメージは、バーチャルイメージのうち１つであり得る。この際、バーチャルイメージとは、プログラミングされたコンピュータを介してシミュレーションされた仮想世界に対するバーチャル写真イメージ（Ｖｉｒｔｕａｌｌｙ  Ｐｈｏｔｏｇｒａｐｈｅｄ  Ｉｍａｇｅ）であり得る。以後、学習装置１００は、生成ネットワーク１３０をもって、入力イメージに対してコンボリューション演算を少なくとも一回適用させて、リアル特徴マップと同一または類似する特性を有する少なくとも一つの出力特徴マップを生成させることができる。この場合、「ＡとＢとが類似する」という文言は、ＡとＢとの間の類似度が予め設定された閾値を超過するという意味である。これらの間の類似度は、よく知られている様々な方法を利用して決定され得るが、具体的な説明はここでは省略することにする。ここで、リアル特徴マップは、バーチャル特徴マップとは異なる、現実世界に対する実際の写真イメージの一部であるリアルイメージから導き出すことができる。そして、リアル特徴マップの特性（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）は、リアルイメージから生じた特性を含むことができ、リアルイメージは彩度が低く、コントラスト（Ｃｏｎｔｒａｓｔ）が少なく、物体の細部のディテールがイメージ上に反映されており、相対的に精巧で現実的な光の経路を含む。
【００４３】
以後、学習装置１００が、出力特徴マップを判別ネットワーク１４０及び物体検出ネットワーク１５０に伝達することができる。まず、判別ネットワーク１４０で遂行されるプロセスについて説明することにする。
【００４４】
学習装置１００は、判別ネットワーク１４０をもって、出力特徴マップがリアル出力特徴マップであるのかバーチャル出力特徴マップであるのかに関する少なくとも一つの確率を算出させることができる。この際、判別ネットワーク１４０は、入力された特徴マップに対して少なくとも一つのコンボリューション演算と少なくとも一つのＦＣ演算とのうち一部を適用して判別ネットワーク１４０に入力された特徴マップがリアル特徴マップのうち一つであるのかバーチャル特徴マップのうち一つであるのかを判断することができる。判別ネットワーク１４０がどのようにトレーニングされるのかは、第２ロスユニット１７０とともに説明することにする。
【００４５】
また、学習装置１００は、物体検出ネットワーク１５０をもって、出力特徴マップを参照して入力イメージに含まれている少なくとも一つの物体を検出させることによって、少なくとも一つの前記クラススコアを生成することができる。このような物体検出ネットワーク１５０について説明するために、図３を参照することにする。
【００４６】
図３は、本発明の一実施例による、ＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法を遂行するための物体検出ネットワーク、及びそれに対応するＲＰＮを簡略に示した図面である。
【００４７】
図３を参照すると、物体検出ネットワーク１５０は、ＲＰＮ１５３の支援を得て、その内部に含まれているコンボリューションレイヤ１５１及びＦＣレイヤ１５２を介してクラススコアを生成し得ることが分かる。
【００４８】
まず、ＲＰＮ１５３は、Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋの略語であって、出力特徴マップを参照して入力イメージ上のそれぞれのＲＯＩを取得することができる。ＲＯＩとは、Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔの略語であって、ＲＰＮ１５３が、物体の位置するものと予測する領域を示すことができる。ＲＰＮ１５３は、それぞれのＲＯＩと、これに対する原本正解とを参照して少なくとも一つのＲＰＮロスを生成し、これをバックプロパゲーションしてＲＰＮのパラメータを学習することによって、入力される一部のイメージに含まれている一部の物体がＲＰＮ１５３により生成した一部のＲＯＩに位置する確率が高くなるようにすることができる。
【００４９】
ＲＯＩがＲＰＮ１５３により生成された後、物体検出ネットワーク１５０は、コンボリューションレイヤ１５１をもって、それぞれのＲＯＩに対応する、出力特徴マップ上のそれぞれの領域に対してコンボリューション演算を少なくとも一回適用させてＲＯＩごとの部分特徴マップそれぞれを生成させることができる。以後、物体検出ネットワーク１５０は、ＦＣレイヤ１５２をもって、ＲＯＩごとの部分特徴マップそれぞれを参照して、入力イメージに含まれている物体の少なくとも一つのそれぞれに関するクラス情報を生成させることができる。クラス情報は、入力イメージのそれぞれの物体がどのクラスに属するのかを示すそれぞれの確率を含むことができ、クラススコアとは、それぞれの物体に対応する確率を含むことができる。
【００５０】
物体検出ネットワーク１５０は、前述したような構成を含むことができるが、本発明の範囲がこれに限定されるわけではない。
【００５１】
以上、評価スコアとクラススコアとが生成される方式について考察してみた。以下、評価スコア及びクラススコアがどのように処理されるのかについて説明することにする。
【００５２】
評価スコアは、第１ロスユニット１６０及び第２ロスユニット１７０に伝達され得、クラススコアは、第３ロスユニット１８０に伝達され得る。まず、第１ロスユニット１６０について説明することにする。
【００５３】
学習装置１００は、第１ロスユニット１６０をもって、判別ネットワーク１４０により生成された評価スコアを参照して少なくとも一つの第１ロスを生成させることができる。第１ロスは、生成ネットワーク１３０のパラメータを調整して判別ネットワーク１４０を欺くようにすることで、バーチャル特徴マップのうち一つである生成ネットワーク１３０により生成される特徴マップが判別ネットワーク１４０によりリアル特徴マップのうち一つとして判断され得るようにする。このように第１ロスが生成されると、学習装置１００は、第１ロスユニット１６０をもって、第１ロスをバックプロパゲーションすることによって生成ネットワーク１３０のパラメータを学習させることができる。
【００５４】
第２ロスユニット１７０は、判別ネットワーク１４０が第２ロスユニット１７０のパラメータを学習するように支援する。具体的に、学習装置１００は、判別ネットワーク１４０をもって、出力特徴マップの他にさらにリアルイメージの一部から導き出された少なくとも一つの学習用リアル特徴マップとともに、それに対応する原本正解も取得することができる。この場合、判別ネットワーク１４０は、出力特徴マップと学習用リアル特徴マップとを含む判別ネットワーク１４０に入力された特徴マップに関する判別ネットワーク１４０の学習用評価スコアを生成することができる。以後、第２ロスユニット１７０は、判別ネットワーク１４０の学習用評価スコアとそれに対応する原本正解とを取得し、これを参照して少なくとも一つの第２ロスを生成することができる。以後、第２ロスがバックプロパゲーションされて判別ネットワーク１４０のパラメータを学習することによって、入力される特徴マップがリアル特徴マップであるのかバーチャル特徴マップであるのかを正確に判断させることができる。
【００５５】
第２ロスユニット１７０を使用した判別ネットワーク１４０の学習プロセスは、第１ロスユニット１６０を使用した生成ネットワーク１３０の学習プロセスと並列して行われ、かつ生成ネットワーク１３０のパラメータと判別ネットワーク１４０のパラメータとを競争的に学習することができる。
【００５６】
第３ロスユニット１８０は、生成ネットワーク１３０及び物体検出ネットワーク１５０が第３ロスユニット１８０のパラメータを学習するように支援する役割をする。具体的に、学習装置１００は、第３ロスユニット１８０をもって、クラススコアと、これに対する原本正解とを参照して少なくとも一つの第３ロスを生成させることができる。第３ロスが、物体検出ネットワーク１５０のパラメータを学習するのに使用される場合、第３ロスは入力される一部の特徴マップに対応するイメージに含まれている物体をより効率的に検出するために、物体検出ネットワーク１５０のパラメータを調整することができる。第３ロスが生成ネットワーク１３０のパラメータを学習するのに使用される場合、第３ロスは最適化特徴マップ（Ｏｐｔｉｍｉｚｅｄ  Ｆｅａｔｕｒｅ  Ｍａｐ）を使用して、物体検出ネットワーク１５０が物体をさらにうまく検出するように支援する最適化特徴マップを生成するために、生成ネットワーク１３０のパラメータを調整する役割をすることができる。第３ロスもさらに利用して、生成ネットワーク１３０は、入力される一部のイメージに含まれている物体の特性を含む一部の特徴マップを生成することができる。
【００５７】
この際、第３ロスを利用したバックプロパゲーションプロセスにおいて、物体検出ネットワーク１５０及び生成ネットワーク１３０に含まれているそれぞれのレイヤに対応するそれぞれのグラディエント（Ｇｒａｄｉｅｎｔ）は、ネットワークのうち関係式（Ｉｎｔｅｒａｃｔｉｏｎ  Ｆｏｒｍｕｌａ）を利用して算出され、前記ネットワークのパラメータは、算出されたグラディエントを利用して学習され得る。
【００５８】
参考までに、以下の説明において混同を避けるために、「学習用」という文言は先に説明した学習プロセスに関する用語に対して追加され、「テスト用」という文言は、テストプロセスに関する用語に対して追加される。
【００５９】
このように学習された学習装置１００は、次のようにテストされ得る。以下において、テスト装置とは学習装置１００が学習を完了した状態を意味し得る。
【００６０】
まず、（１）バーチャルイメージのうち一つである少なくとも一つのトレーニングイメージを取得すると、学習装置が、生成ネットワーク１３０をもって、トレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて、学習用リアル特徴マップと同一または類似する特性を有する少なくとも一つの学習用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（２）学習用出力特徴マップに対応する、判別ネットワーク１４０で生成された少なくとも一つの評価スコアが生成されれば、学習装置が、第１ロスユニット（Ｌｏｓｓ  Ｕｎｉｔ）をもって、評価スコアを参照して少なくとも一つの第１ロスを生成させ、これをバックプロパゲーションすることによって生成ネットワークのパラメータを学習させた状態で、バーチャルイメージのうち一つである少なくとも一つのテストイメージが取得されると、テスト装置が生成ネットワーク１３０をもって、テストイメージに対してコンボリューション演算を少なくとも一回適用させて、テスト用リアル特徴マップと同一または類似する特性を有する少なくとも一つのテスト用出力特徴マップ（Ｏｕｔｐｕｔ  Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させる。
【００６１】
テストの際に、物体検出ネットワーク１５０は、現実世界で自律走行を支援するのに使用され得る。具体的にテストイメージは、物体検出ネットワーク１５０を含む自律走行車両に含まれているカメラを介して取得されたイメージであり得、物体検出ネットワーク１５０は、テストイメージを利用して自律走行車両を支援することができる。
【００６２】
物体検出ネットワーク１５０は、リアル特徴マップと同一または類似する特性を有するテスト用バーチャル特徴マップを利用して学習されたので、物体検出ネットワーク１５０は、仮想世界で学習されたとしても現実世界で十分に作動することができる。
【００６３】
本発明は、ＧＡＮを利用してリアルイメージにより生成されたリアル特徴マップと同一または類似する特徴を有するバーチャル特徴マップを生成する方法を提供することによって、バーチャルイメージを利用して学習された物体検出器がリアルイメージ（例えば、テストイメージ）に含まれている物体をより効率的に検出させる肯定的な効果がある。
【００６４】
本発明の技術分野における通常の技術者に理解され得るところとして、上記で説明されたイメージ、例えば、オリジナルイメージ、オリジナルラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
【００６５】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行され得るプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００６６】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００６７】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【００６８】
本発明は、仮想走行の環境で使用されるドメイン適応に適用され得るＧＡＮを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＬＥＡＲＮＩＮＧ  ＤＥＶＩＣＥ  ＦＯＲ  ＧＥＮＥＲＡＴＩＯＮ  ＯＦ  ＶＩＲＴＵＡＬ  ＦＥＡＴＵＲＥ  ＭＡＰＳ  ＷＨＯＳＥ  ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ  ＡＲＥ  ＳＡＭＥ  ＡＳ  ＯＲ  ＳＩＭＩＬＡＲ  ＴＯ  ＴＨＯＳＥ  ＯＦ  ＲＥＡＬ  ＦＥＡＴＵＲＥ  ＭＡＰＳ  ＢＹ  ＵＳＩＮＧ  ＧＡＮ  ＣＡＰＡＢＬＥ  ＯＦ  ＢＥＩＮＧ  ＡＰＰＬＩＥＤ  ＴＯ  ＤＯＭＡＩＮ  ＡＤＡＰＴＡＴＩＯＮ  ＴＯ  ＢＥ  ＵＳＥＤ  ＩＮ  ＶＩＲＴＵＡＬ  ＤＲＩＶＩＮＧ  ＥＮＶＩＲＯＮＭＥＮＴＳ  ＡＮＤ  ＴＥＳＴＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＴＥＳＴＩＮＧ  ＤＥＶＩＣＥ  ＵＳＩＮＧ  ＴＨＥ  ＳＡＭＥ｝に関する。
【図１】
2020119554.tif 000003
【図２】
2020119554.tif 000004
【図３】
2020119554.tif 000005