(57)【要約】【課題】仮想世界での仮想映像がより実際のように見えるように変換する学習方法【解決手段】本発明の学習方法は、（ａ）第Ｎ仮想トレーニングイメージ、第Ｎメタデータ及び第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用し、第Ｎ特徴マップを生成する段階；（ｂ）第Ｎ特徴マップに対してデコンボリューション演算を適用し、第Ｎ変換イメージを生成する段階；（ｃ）第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を適用し、カテゴリスコアベクトルを生成する段階；及び（ｄ）カテゴリスコアベクトル及びそれに対応するＧＴを参照してジェネレーティングＣＮＮロスを生成し、ジェネレーティングＣＮＮロスを参照してバックプロパゲーションを遂行することでジェネレーティングＣＮＮのパラメータを学習する段階を含む。【選択図】図４
2020123345.tif 000002
【特許請求の範囲】
【請求項１】
現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換する学習方法において、
（ａ）（ｉ）前記仮想世界での前記仮想映像の第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの物体に対する第Ｎメタデータ、及び（ｉｉｉ）前記仮想映像の第ＮーＫフレームに対する第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、学習装置は、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにする段階；
（ｂ）前記学習装置が、前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにする段階；
（ｃ）前記学習装置が、前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにする段階；及び
（ｄ）前記学習装置が、前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ ＣＮＮ Ｌｏｓｓ）を生成するようにし、前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、
前記学習装置は、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大きくなるよう、前記ジェネレーティングＣＮＮの前記パラメータのうちの前記少なくとも一部を学習するようにする段階；
を含むことを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記学習装置が、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、
前記（ｂ）段階で、
前記学習装置が、前記デコーディングレイヤをもって、前記第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記第Ｎ変換イメージを生成させることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｄ）段階で、
前記学習装置が、ディスクリミネーティングロスレイヤ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及び前記第１ＧＴイメージカテゴリスコアベクトルを参照にして第１ディスクリミネーティングＣＮＮロスを生成するようにした後、前記第１ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮのパラメータのうちの少なくとも一部を学習するようにすることを特徴とし、
前記学習装置は、前記ディスクリミネーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが自身に入力されたイメージのカテゴリを正確に判断する確率が大きくなるように、前記ディスクリミネーティングＣＮＮの前記パラメータの前記少なくとも一部を学習するようにすることを特徴とする請求項１に記載の方法。
【請求項４】
前記（ａ）段階ないし前記（ｄ）段階と並列的に、
前記実際イメージのうちの少なくとも一つのトレーニングイメージが取得されると、前記学習装置が、（ｉ）ディスクリミネーティングＣＮＮをもって、前記実際トレーニングイメージに対してディスクリミネーティングＣＮＮ演算を適用するようにして、前記実際トレーニングイメージが前記実際イメージのうちの一つまたは前記仮想イメージの一つである確率に対する情報を含む第２予測イメージカテゴリスコアベクトルを生成するようにした後、（ｉｉ）前記ディスクリミネーティングロスレイヤをもって、前記第２予測イメージカテゴリスコアベクトル及びこれに対応する第２ＧＴイメージカテゴリスコアベクトルを参照にして第２ディスクリミネーティングＣＮＮロスを生成するようにし、前記第２ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮの前記パラメータのうちの少なくとも一部を学習するようにすることを特徴とする請求項３に記載の方法。
【請求項５】
前記（ａ）段階で、
前記学習装置が、前記エンコーディングレイヤの少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）それぞれをもって、自身に入力された値に対して、自身のパラメータを利用して演算を適用するようにした後、出力された値をその次のコンボリューションニューロンに伝達するようにすることにより、前記第Ｎ仮想トレーニングイメージに対してコンボリューション演算を適用するようにすることを特徴とする請求項１に記載の方法。
【請求項６】
前記（ａ）段階で、
前記学習装置が、（ｉ）（ｉ−１）前記第Ｎ仮想トレーニングイメージ内の前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記第Ｎメタデータ及び（ｉ−２）前記仮想映像の前記第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想トレーニングイメージ、第Ｎ−Ｋ変換イメージ及び第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記第Ｎ特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項７】
現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換するテスト方法において、
（ａ）（１）（ｉ）前記仮想世界での前記学習用仮想映像の学習用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの学習用物体に対する学習用第Ｎメタデータ、及び（ｉｉｉ）前記学習用仮想映像の学習用第ＮーＫフレームに対する学習用第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、学習装置は、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記学習用第Ｎメタデータ及び前記学習用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの学習用第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（２）前記学習装置が、前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記学習用第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、学習用第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにし、（３）前記学習装置が、前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記学習用第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記学習用第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにし、（４）前記学習装置が、前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ ＣＮＮ Ｌｏｓｓ）を生成するようにし、前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、前記学習装置は、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大きくなるよう、前記ジェネレーティングＣＮＮの前記パラメータのうちの前記少なくとも一部を学習するようにした状態で、（ｉ）前記仮想世界でのテスト用仮想映像のテスト用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想テストイメージに含まれている少なくと���一つのテスト用物体に対するテスト用第Ｎメタデータ、及び（ｉｉｉ）前記テスト用仮想映像のテスト用第ＮーＫフレームに対するテスト用第Ｎ−Ｋ参照情報が取得されると、テスト装置は、前記ジェネレーティングＣＮＮ内の前記エンコーディングレイヤをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つのテスト用第Ｎ特徴マップを生成するようにする段階；及び
（ｂ）前記テスト装置が、前記ジェネレーティングＣＮＮに含まれた前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして、テスト用第Ｎ変換イメージを生成するようにする段階；
を含むことを特徴とする方法。
【請求項８】
（ｃ）前記テスト装置が、（ｉ）前記テスト用第Ｎ変換イメージをテスト用第Ｎフレームとして含むテスト用変換映像をトレーニングデータとして自律走行用ＣＮＮに入力するプロセス、及び（ｉｉ）前記テスト用変換映像に対応するアノテートされた（Ａｎｎｏｔａｔｅｄ）テスト用変換映像をＧＴとして前記自律走行用ＣＮＮに入力して、前記自律走行用ＣＮＮの学習プロセスをサポートするようにするプロセスを遂行する段階をさらに含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記（ｃ）段階で、
前記アノテーションされたテスト用変換映像は、前記テスト用仮想映像に対応する前記仮想世界をシミュレーションしたシミュレーションモジュールから取得されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記（ａ）段階で、
前記テスト装置が、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記テスト用第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、テスト用第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、
前記（ｂ）段階で、
前記テスト装置が、前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記テスト用第Ｎ変換イメージを生成させることを特徴とする請求項７に記載の方法。
【請求項１１】
前記（ａ）段階で、
前記テスト装置が、（ｉ）（ｉ−１）前記第Ｎ仮想テストイメージ内に含まれた前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記テスト用第Ｎメタデータ及び（ｉ−２）前記テスト用仮想映像の前記テスト用第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想テストイメージ、テスト用第Ｎ−Ｋ変換イメージ及びテスト用第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記テスト用第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記テスト用第Ｎ特徴マップを生成するようにすることを特徴とする請求項７に記載の方法。
【請求項１２】
現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換する学習装置において、
少なくとも一つのインストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）（ｉ）前記仮想世界での前記仮想映像の第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの物体に対する第Ｎメタデータ、及び（ｉｉｉ）前記仮想映像の第ＮーＫフレームに対する第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにするプロセス；（ＩＩ）前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにするプロセス；（ＩＩＩ）前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにするプロセス；及び（ＩＶ）前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ  Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ  ＣＮＮ Ｌｏｓｓ）を生成するようにし、前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大きくなるよう、前記ジェネレーティングＣＮＮの前記パラメータのうちの前記少なくとも一部を学習するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする装置。
【請求項１３】
前記（Ｉ）プロセスで、
前記プロセッサが、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサが、前記デコーディングレイヤをもって、前記第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記第Ｎ変換イメージを生成させることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記（ＩＶ）プロセスで、
前記プロセッサが、ディスクリミネーティングロスレイヤ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及び前記第１ＧＴイメージカテゴリスコアベクトルを参照にして第１ディスクリミネーティングＣＮＮロスを生成するようにした後、前記第１ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮのパラメータのうちの少なくとも一部を学習するようにすることを特徴とし、
前記プロセッサは、前記ディスクリミネーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが自身に入力されたイメージのカテゴリを正確に判断する確率が大きくなるように、前記ディスクリミネーティングＣＮＮの前記パラメータの前記少なくとも一部を学習するようにすることを特徴とする請求項１２に記載の装置。
【請求項１５】
前記（Ｉ）プロセスないし前記（ＩＶ）プロセスと並列的に、
前記実際イメージのうちの少なくとも一つのトレーニングイメージが取得されると、前記プロセッサが、（ｉ）ディスクリミネーティングＣＮＮをもって、前記実際トレーニングイメージに対してディスクリミネーティングＣＮＮ演算を適用するようにして、前記実際トレーニングイメージが前記実際イメージのうちの一つまたは前記仮想イメージの一つである確率に対する情報を含む第２予測イメージカテゴリスコアベクトルを生成するようにした後、（ｉｉ）前記ディスクリミネーティングロスレイヤをもって、前記第２予測イメージカテゴリスコアベクトル及びこれに対応する第２ＧＴイメージカテゴリスコアベクトルを参照にして第２ディスクリミネーティングＣＮＮロスを生成するようにし、前記第２ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮの前記パラメータのうちの少なくとも一部を学習するようにすることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記（Ｉ）プロセスで、
前記プロセッサが、前記エンコーディングレイヤの少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）それぞれをもって、自身に入力された値に対して、自身のパラメータを利用して演算を適用するようにした後、出力された値をその次のコンボリューションニューロンに伝達するようにすることにより、前記第Ｎ仮想トレーニングイメージに対してコンボリューション演算を適用するようにすることを特徴とする請求項１２に記載の装置。
【請求項１７】
前記（Ｉ）プロセスで、
前記プロセッサが、（ｉ）（ｉ−１）前記第Ｎ仮想トレーニングイメージ内の前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記第Ｎメタデータ及び（ｉ−２）前記仮想映像の前記第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想トレーニングイメージ、第Ｎ−Ｋ変換イメージ及び第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記第Ｎ特徴マップを生成するようにすることを特徴とする請求項１２に記載の装置。
【請求項１８】
現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換するテスト装置において、
少なくとも一つのインストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）（１）（ｉ）前記仮想世界での前記学習用仮想映像の学習用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの学習用物体に対する学習用第Ｎメタデータ、及び（ｉｉｉ）前記学習用仮想映像の学習用第ＮーＫフレームに対する学習用第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、学習装置は、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記学習用第Ｎメタデータ及び前記学習用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの学習用第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（２）前記学習装置が、前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記学習用第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、学習用第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにし、（３）前記学習装置が、前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記学習用第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記学習用第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにし、（４）前記学習装置が、前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ ＣＮＮ Ｌｏｓｓ）を生成するようにし、 前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、前記学習装置は、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大きくなるよう、前記ジェネレーティングＣＮＮの前記パラメータのうちの前記少なくとも一部を学習するようにした状態で、（ｉ）前記仮想世界でのテスト用仮想映像のテスト用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想テストイメージに含まれている少なくとも一つのテスト用物体に対するテスト用第Ｎメタデータ、及び（ｉｉｉ）前記テスト用仮想映像のテスト用第ＮーＫフレームに対するテスト用第Ｎ−Ｋ参照情報が取得されると、前記ジェネレーティングＣＮＮ内の前記エンコーディングレイヤをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、少なくとも一つのテスト用第Ｎ特徴マップを生成するようにするプロセス、及び（ＩＩ）前記ジェネレーティングＣＮＮに含まれた前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして、テスト用第Ｎ変換イメージを生成するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする装置。
【請求項１９】
前記プロセッサが、
（ＩＩＩ）（ｉ）前記テスト用第Ｎ変換イメージをテスト用第Ｎフレームとして含むテスト用変換映像をトレーニングデータとして自律走行用ＣＮＮに入力するプロセス、及び（ｉｉ）前記テスト用変換映像に対応するアノテートされた（Ａｎｎｏｔａｔｅｄ）テスト用変換映像をＧＴとして前記自律走行用ＣＮＮに入力して、前記自律走行用ＣＮＮの学習プロセスをサポートするようにするプロセスをさらに遂行することを特徴とする請求項１８に記載の装置。
【請求項２０】
前記（ＩＩＩ）プロセスで、
前記アノテートされたテスト用変換映像は、前記テスト用仮想映像に対応する前記仮想世界をシミュレーションしたシミュレーションモジュールから取得されることを特徴とする請求項１９に記載の装置。
【請求項２１】
前記（Ｉ）プロセスで、
前記プロセスが、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記テスト用第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、テスト用第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサが、前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記テスト用第Ｎ変換イメージを生成させることを特徴とする請求項１８に記載の装置。
【請求項２２】
前記（Ｉ）プロセスで、
前記プロセッサが、（ｉ）（ｉ−１）前記第Ｎ仮想テストイメージ内に含まれた前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記テスト用第Ｎメタデータ及び（ｉ−２）前記テスト用仮想映像の前記テスト用第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想テストイメージ、テスト用第Ｎ−Ｋ変換イメージ及びテスト用第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記テスト用第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記テスト用第Ｎ特徴マップを生成するようにすることを特徴とする請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自律走行自動車を利用した学習方法及び学習装置に関し、詳しくは、仮想世界における仮想データから取得したトレーニングデータを生成する学習方法及び学習装置及びこれを用いたテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
このようなＣＮＮは、自律走行分野においても広く利用されている。自律走行分野でＣＮＮは、物体検出、フリースペース（Ｆｒｅｅ Ｓｐａｃｅ）検出及びセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）を遂行することができる。
【０００４】
しかし、このようなアプローチは、実際に自律走行分野でＣＮＮを利用するためには、トレーニングセット費用がたくさんかかるという問題点がある。トレーニングセットを生成するためのトレーニングイメージは自動で取得できるとしても、これに対応するＧＴは、人が直接生成しなければならず、これは多大なコストを発生させるという問題がある。
【０００５】
前記問題を解決しようとする代案的アプローチが仮想走行（Ｖｉｒｔｕａｌ Ｄｒｉｖｉｎｇ）である。プログラミングされたコンピュータによってシミュレーションされた仮想世界において、トレーニングイメージとそれに対応するＧＴ両方を自動で取得でき、より低いコストがかかる。
【０００６】
しかし、このような代案的アプローチにも問題がある。それは、仮想世界で取得したトレーニングイメージと実際世界のイメージとの間に差があり、仮想世界で学習されたＣＮＮの信頼度が低いという短所である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前述した問題点を解決することを目的とする。
【０００８】
なお、本発明は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用して、仮想世界における仮想データから取得したトレーニングデータを生成することにより、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコスト（Ａｎｎｏｔａｔｉｏｎ Ｃｏｓｔ）を削減する学習方法を提供することを他の目的とする。
【０００９】
また、本発明は、現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換する学習方法を提供することをまた他の目的とする。
【００１０】
また本発明は、現在フレームを変換する際、以前フレームの情報を利用してフレームの間に一定で統一された関係を維持しつつ、仮想世界での仮想映像を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換するためのジェネレーティングＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、及びジェネレーティングＣＮＮの学習プロセスを支援するためのディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  ＣＮＮ）を提供することを、また他の目的とする。
【課題を解決するための手段】
【００１１】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【００１２】
本発明の一態様によれば、現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換する学習方法において、（ａ）（ｉ）前記仮想世界での前記仮想映像の第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの物体に対する第Ｎメタデータ、及び（ｉｉｉ）前記仮想映像の第ＮーＫフレームに対する第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、学習装置は、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにする段階；（ｂ）前記学習装置が、前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにする段階；（ｃ）前記学習装置が、前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにする段階；及び（ｄ）前記学習装置が、前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ ＣＮＮ Ｌｏｓｓ）を生成するようにし、前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、前記学習装置は、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大きくなるよう、前記ジェネレーティングＣＮＮの前記パラメータのうちの前記少な��とも一部を学習するようにする段階；を含むことを特徴とする方法が開示される。
【００１３】
一実施例として、前記（ａ）段階で、前記学習装置が、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、前記（ｂ）段階で、前記学習装置が、前記デコーディングレイヤをもって、前記第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記第Ｎ変換イメージを生成させることを特徴とする。
【００１４】
一実施例として、前記（ｄ）段階で、前記学習装置が、ディスクリミネーティングロスレイヤ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及び前記第１ＧＴイメージカテゴリスコアベクトルを参照にして第１ディスクリミネーティングＣＮＮロスを生成するようにした後、前記第１ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮのパラメータのうちの少なくとも一部を学習するようにすることを特徴とし、前記学習装置は、前記ディスクリミネーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが自身に入力されたイメージのカテゴリを正確に判断する確率が大きくなるように、前記ディスクリミネーティングＣＮＮの前記パラメータの前記少なくとも一部を学習するようにすることを特徴とする。
【００１５】
一実施例として、前記（ａ）段階ないし前記（ｄ）段階と並列的に、前記実際イメージのうちの少なくとも一つのトレーニングイメージが取得されると、前記学習装置が、（ｉ）ディスクリミネーティングＣＮＮをもって、前記実際トレーニングイメージに対してディスクリミネーティングＣＮＮ演算を適用するようにして、前記実際トレーニングイメージが前記実際イメージのうちの一つまたは前記仮想イメージの一つである確率に対する情報を含む第２予測イメージカテゴリスコアベクトルを生成するようにした後、（ｉｉ）前記ディスクリミネーティングロスレイヤをもって、前記第２予測イメージカテゴリスコアベクトル及びこれに対応する第２ＧＴイメージカテゴリスコアベクトルを参照にして第２ディスクリミネーティングＣＮＮロスを生成するようにし、前記第２ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮの前記パラメータのうちの少なくとも一部を学習するようにすることを特徴とする。
【００１６】
一実施例として、前記（ａ）段階で、前記学習装置が、前記エンコーディングレイヤの少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）それぞれをもって、自身に入力された値に対して、自身のパラメータを利用して演算を適用するようにした後、出力された値をその次のコンボリューションニューロンに伝達するようにすることにより、前記第Ｎ仮想トレーニングイメージに対してコンボリューション演算を適用するようにすることを特徴とする。
【００１７】
一実施例として、前記（ａ）段階で、前記学習装置が、（ｉ）（ｉ−１）前記第Ｎ仮想トレーニングイメージ内の前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記第Ｎメタデータ及び（ｉ−２）前記仮想映像の前記第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想トレーニングイメージ、第Ｎ−Ｋ変換イメージ及び第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記第Ｎ特徴マップを生成するようにすることを特徴とする。
【００１８】
本発明の他の態様によれば、現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換するテスト方法において、（ａ）（１）（ｉ）前記仮想世界での前記学習用仮想映像の学習用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの学習用物体に対する学習用第Ｎメタデータ、及び（ｉｉｉ）前記学習用仮想映像の学習用第ＮーＫフレームに対する学習用第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、学習装置は、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記学習用第Ｎメタデータ及び前記学習用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの学習用第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（２）前記学習装置が、前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記学習用第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、学習用第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにし、（３）前記学習装置が、前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記学習用第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記学習用第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにし、（４）前記学習装置が、前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ ＣＮＮ Ｌｏｓｓ）を生成するようにし、前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、前記学習装置は、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大き��なるよう、前記ジェネレーティングＣＮＮの前記パラメータのうちの前記少なくとも一部を学習するようにした状態で、（ｉ）前記仮想世界でのテスト用仮想映像のテスト用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想テストイメージに含まれている少なくとも一つのテスト用物体に対するテスト用第Ｎメタデータ、及び（ｉｉｉ）前記テスト用仮想映像のテスト用第ＮーＫフレームに対するテスト用第Ｎ−Ｋ参照情報が取得されると、テスト装置は、前記ジェネレーティングＣＮＮ内の前記エンコーディングレイヤをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つのテスト用第Ｎ特徴マップを生成するようにする段階；及び（ｂ）前記テスト装置が、前記ジェネレーティングＣＮＮに含まれた前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして、テスト用第Ｎ変換イメージを生成するようにする段階；を含むことを特徴とする方法が開示される。
【００１９】
一実施例として、（ｃ）前記テスト装置が、（ｉ）前記テスト用第Ｎ変換イメージをテスト用第Ｎフレームとして含むテスト用変換映像をトレーニングデータとして自律走行用ＣＮＮに入力するプロセス、及び（ｉｉ）前記テスト用変換映像に対応するアノテートされた（Ａｎｎｏｔａｔｅｄ）テスト用変換映像をＧＴとして前記自律走行用ＣＮＮに入力して、前記自律走行用ＣＮＮの学習プロセスをサポートするようにするプロセスを遂行する段階をさらに含むことを特徴とする。
【００２０】
一実施例として、前記（ｃ）段階で、前記アノテーションされたテスト用変換映像は、前記テスト用仮想映像に対応する前記仮想世界をシミュレーションしたシミュレーションモジュールから取得されることを特徴とする。
【００２１】
一実施例として、前記（ａ）段階で、前記テスト装置が、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記テスト用第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、テスト用第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、前記（ｂ）段階で、前記テスト装置が、前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記テスト用第Ｎ変換イメージを生成させることを特徴とする。
【００２２】
一実施例として、前記（ａ）段階で、前記テスト装置が、（ｉ）（ｉ−１）前記第Ｎ仮想テストイメージ内に含まれた前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記テスト用第Ｎメタデータ及び（ｉ−２）前記テスト用仮想映像の前記テスト用第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想テストイメージ、テスト用第Ｎ−Ｋ変換イメージ及びテスト用第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記テスト用第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記テスト用第Ｎ特徴マップを生成するようにすることを特徴とする。
【００２３】
本発明のまた他の態様によれば、現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換する学習装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（ｉ）前記仮想世界での前記仮想映像の第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの物体に対する第Ｎメタデータ、及び（ｉｉｉ）前記仮想映像の第ＮーＫフレームに対する第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにするプロセス；（ＩＩ）前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにするプロセス；（ＩＩＩ）前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにするプロセス；及び（ＩＶ）前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ  Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ  ＣＮＮ Ｌｏｓｓ）を生成するようにし、前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大きくなるよう、前記ジェネレーティングＣＮＮの前記パ��メータのうちの前記少なくとも一部を学習するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする装置。
【００２４】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、前記（ＩＩ）プロセスで、前記プロセッサが、前記デコーディングレイヤをもって、前記第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記第Ｎ変換イメージを生成させることを特徴とする。
【００２５】
一実施例として、前記（ＩＶ）プロセスで、前記プロセッサが、ディスクリミネーティングロスレイヤ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及び前記第１ＧＴイメージカテゴリスコアベクトルを参照にして第１ディスクリミネーティングＣＮＮロスを生成するようにした後、前記第１ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮのパラメータのうちの少なくとも一部を学習するようにすることを特徴とし、前記プロセッサは、前記ディスクリミネーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが自身に入力されたイメージのカテゴリを正確に判断する確率が大きくなるように、前記ディスクリミネーティングＣＮＮの前記パラメータの前記少なくとも一部を学習するようにすることを特徴とする。
【００２６】
一実施例として、前記（Ｉ）プロセスないし前記（ＩＶ）プロセスとを並列的に、前記実際イメージのうちの少なくとも一つのトレーニングイメージが取得されると、前記プロセッサが、（ｉ）ディスクリミネーティングＣＮＮをもって、前記実際トレーニングイメージに対してディスクリミネーティングＣＮＮ演算を適用するようにして、前記実際トレーニングイメージが前記実際イメージのうちの一つまたは前記仮想イメージの一つである確率に対する情報を含む第２予測イメージカテゴリスコアベクトルを生成するようにした後、（ｉｉ）前記ディスクリミネーティングロスレイヤをもって、前記第２予測イメージカテゴリスコアベクトル及びこれに対応する第２ＧＴイメージカテゴリスコアベクトルを参照にして第２ディスクリミネーティングＣＮＮロスを生成するようにし、前記第２ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、前記ディスクリミネーティングＣＮＮの前記パラメータのうちの少なくとも一部を学習するようにすることを特徴とする。
【００２７】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記エンコーディングレイヤの少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）それぞれをもって、自身に入力された値に対して、自身のパラメータを利用して演算を適用するようにした後、出力された値をその次のコンボリューションニューロンに伝達するようにすることにより、前記第Ｎ仮想トレーニングイメージに対してコンボリューション演算を適用するようにすることを特徴とする。
【００２８】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）（ｉ−１）前記第Ｎ仮想トレーニングイメージ内の前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記第Ｎメタデータ及び（ｉ−２）前記仮想映像の前記第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想トレーニングイメージ、第Ｎ−Ｋ変換イメージ及び第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想トレーニングイメージ、前記第Ｎメタデータ及び前記第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記第Ｎ特徴マップを生成するようにすることを特徴とする。
【００２９】
本発明のまた他の態様によれば、現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換するテスト装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（１）（ｉ）前記仮想世界での前記学習用仮想映像の学習用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの学習用物体に対する学習用第Ｎメタデータ、及び（ｉｉｉ）前記学習用仮想映像の学習用第ＮーＫフレームに対する学習用第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、学習装置は、ジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内の少なくとも一つのエンコーディングレイヤ（Ｅｎｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記第Ｎ仮想トレーニングイメージ、前記学習用第Ｎメタデータ及び前記学習用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの学習用第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、（２）前記学習装置が、前記ジェネレーティングＣＮＮ内のデコーディングレイヤ（Ｄｅｃｏｄｉｎｇ Ｌａｙｅｒ）をもって、前記学習用第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、学習用第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにし、（３）前記学習装置が、前記ジェネレーティングＣＮＮと対立的に（Ａｄｖｅｒｓｅｌｙ）学習されるディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ＣＮＮ）をもって、前記学習用第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、前記学習用第Ｎ変換イメージが前記実際世界における実際イメージのうちの一つまたは前記仮想世界における仮想イメージのうちの一つである確率に対する情報を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにし、（４）前記学習装置が、前記ジェネレーティングＣＮＮ内のジェネレーティングロスレイヤ（Ｇｅｎｅｒａｔｉｎｇ Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロス（Ｇｅｎｅｒａｔｉｎｇ ＣＮＮ Ｌｏｓｓ）を生成するようにし、 前記ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによって前記ジェネレーティングＣＮＮのパラメータの少なくとも一部を学習するようにし、前記学習装置は、前記ジェネレーティングロスレイヤをもって、前記ディスクリミネーティングＣＮＮが前記ジェネレーティン���ＣＮＮから出力されたイメージのカテゴリに対して不正確な判断を下す確率が大きくなるよう、前記ジェネレーティングＣＮＮの前記パラメータのうちの前記少なくとも一部を学習するようにした状態で、（ｉ）前記仮想世界でのテスト用仮想映像のテスト用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）前記第Ｎ仮想テストイメージに含まれている少なくとも一つのテスト用物体に対するテスト用第Ｎメタデータ、及び（ｉｉｉ）前記テスト用仮想映像のテスト用第ＮーＫフレームに対するテスト用第Ｎ−Ｋ参照情報が取得されると、前記ジェネレーティングＣＮＮ内の前記エンコーディングレイヤをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、少なくとも一つのテスト用第Ｎ特徴マップを生成するようにするプロセス、及び（ＩＩ）前記ジェネレーティングＣＮＮに含まれた前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして、テスト用第Ｎ変換イメージを生成するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする装置。
【００３０】
一実施例として、前記プロセッサが、（ＩＩＩ）（ｉ）前記テスト用第Ｎ変換イメージをテスト用第Ｎフレームとして含むテスト用変換映像をトレーニングデータとして自律走行用ＣＮＮに入力するプロセス、及び（ｉｉ）前記テスト用変換映像に対応するアノテートされた（Ａｎｎｏｔａｔｅｄ）テスト用変換映像をＧＴとして前記自律走行用ＣＮＮに入力して、前記自律走行用ＣＮＮの学習プロセスをサポートするようにするプロセスをさらに遂行することを特徴とする。
【００３１】
一実施例として、前記（ＩＩＩ）プロセスで、前記アノテートされたテスト用変換映像は、前記テスト用仮想映像に対応する前記仮想世界をシミュレーションしたシミュレーションモジュールから取得されることを特徴とする。
【００３２】
一実施例として、前記（Ｉ）プロセスで、前記プロセスが、前記ジェネレーティングＣＮＮ内の少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、第Ｎランダムシード値（Ｒａｎｄｏｍ Ｓｅｅｄ Ｖａｌｕｅ）を参照にして、前記テスト用第Ｎ特徴マップに対して調整演算を少なくとも一度適用するようにして、テスト用第Ｎ調整特徴マップ（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにし、前記（ＩＩ）プロセスで、前記プロセッサが、前記デコーディングレイヤをもって、前記テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして前記テスト用第Ｎ変換イメージを生成させることを特徴とする。
【００３３】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）（ｉ−１）前記第Ｎ仮想テストイメージ内に含まれた前記物体の少なくとも一つの位置情報及び少なくとも一つのクラス情報を含む前記テスト用第Ｎメタデータ及び（ｉ−２）前記テスト用仮想映像の前記テスト用第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想テストイメージ、テスト用第Ｎ−Ｋ変換イメージ及びテスト用第Ｎ−Ｋメタデータのうちの少なくとも一部を含む前記テスト用第Ｎ−Ｋ参照情報を取得し、（ｉｉ）前記ジェネレーティングＣＮＮをもって、前記第Ｎ仮想テストイメージ、前記テスト用第Ｎメタデータ及び前記テスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を適用するようにして、前記テスト用第Ｎ特徴マップを生成するようにすることを特徴とする。
【００３４】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００３５】
本発明は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用して、仮想世界における仮想データから取得したトレーニングデータを生成することにより、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコスト（Ａｎｎｏｔａｔｉｏｎ Ｃｏｓｔ）を削減する学習方法を提供できる効果がある。
【００３６】
また、本発明は、現在フレーム（Ｃｕｒｒｅｎｔ  Ｆｒａｍｅ）を変換する際、以前フレームに対する情報を利用してフレームの間に一定して統一した関係を維持しつつ、仮想世界での仮想映像（Ｖｉｒｔｕａｌ  Ｖｉｄｅｏ）を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換する学習方法において、
また本発明は、現在フレームを変換する際、以前フレームの情報を利用してフレーム間の一定で統一された関係を維持しつつ、仮想世界での仮想映像を、実際世界での実際映像と類似した特性を有する、より実際のような映像に変換するためのジェネレーティングＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、及びジェネレーティングＣＮＮの学習プロセスを支援するためのディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  ＣＮＮ）を提供する、また他の効果がある。
【００３７】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施例に係るＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用して、仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコスト（Ａｎｎｏｔａｔｉｏｎ Ｃｏｓｔ）を削減する学習方法を概略的に示した図面である。
【図２】本発明の一実施例に係るＧＡＮを利用して、仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法を遂行するのに利用されるジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成を概略的に示した図面である。
【図３】本発明の一実施例に係るＧＡＮを利用して、仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法を概略的に示したフローチャートである。
【図４】本発明の一実施例に係るＧＡＮを利用して仮想世界についての仮想データから取得したトレーニングデータを生成し、自律走行用のニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法をジェネレーティングＣＮＮ及びディスクリミネーティングＣＮＮ（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  ＣＮＮ）が遂行する方式を概略的に示した図面である。
【発明を実施するための形態】
【００３９】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４０】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４１】
本発明で言及している各種イメージは、道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、その他の障害物）を想定し得る。
【００４２】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
【００４３】
参考までに、以下の説明において混乱を避けるために、学習プロセスに関連する用語には「学習用」という単語が追加され、テスト用プロセスに関連する用語には「テスト用」という単語が追加された。
【００４４】
図１は、本発明の一実施例に係るＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用して、仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコスト（Ａｎｎｏｔａｔｉｏｎ Ｃｏｓｔ）を削減する学習方法を概略的に示した図面である。
【００４５】
図１を参照すれば、学習装置１００は、後で詳しく説明する構成要素であるジェネレーティングＣＮＮ（Ｇｅｎｅｒａｔｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１３０及びディスクリミネーティング（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ）ＣＮＮ１４０を含み得る。ジェネレーティングＣＮＮ１３０及びディスクリミネーティングＣＮＮ１４０の入出力過程及び演算過程はそれぞれ通信部１１０及びプロセッサ１２０によって行われ得る。
【００４６】
ただし、図１では、通信部１１０と、プロセッサ１２０との具体的な連結関係を省略した。この際、メモリ１１５は、後述するいくつかのインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態でもあり得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行することができ、プロセッサ１２０は、後から説明されるプロセスを遂行することにより本発明を行うことができる。このように学習装置１００が描写されたところで、学習装置１００が本発明を実施するためのプロセッサ、メモリ、ミディアム、または他のコンピューティング構成要素のいかなる組み合わせを含む統合プロセッサを排除するものではない。
【００４７】
以上、学習装置１００の構成について説明した。次に、これに含まれたジェネレーティングＣＮＮ１３０及びディスクリミネーティングＣＮＮ１４０の具体的な構成についても説明する。まず、図２を参照にしてジェネレーティングＣＮＮ１３０について説明する。
【００４８】
図２は、本発明の一実施例に係るＧＡＮを利用して、仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法を遂行するのに利用されるジェネレーティングＣＮＮの構成を概略的に示した図面である。
【００４９】
図２を参照にすれば、ジェネレーティングＣＮＮ１３０は、少なくとも一つのエンコーディングレイヤ１３１と、少なくとも一つの調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）１３２と、少なくとも一つのデコーディングレイヤ１３３と、少なくとも一つのジェネレーティングレイヤ１３４とを含み得る。ここでエンコーディングレイヤ１３１は、コンボリューション演算を遂行することができ、調整レイヤ１３２は、調整演算を遂行することができ、デコーディングレイヤ１３３は、デコンボリューション演算を遂行することができる。ジェネレーティングロスレイヤ１３４は、ジェネレーティングＣＮＮ１３０のパラメータを学習するために利用されるジェネレーティングＣＮＮロスを生成し、これを利用してバックプロパゲーションを遂行することができる。
【００５０】
前記コンボリューション演算に関し、学習方法１００は、エンコーディングレイヤ１３１の少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｏｎ）それぞれをもって、自身に入力された値に対して、自身の少なくとも一つのパラメータを利用して演算を適用するようにした後、出力された値をその次のコンボリューションニューロンに伝達するようにすることで、ジェネレーティングＣＮＮ１３０に入力されたデータにコンボリューション演算を適用するようにすることができる。
【００５１】
また、調整演算に関して、学習装置１００は、調整レイヤ１３２をもって、予め設定されたランダムシード値（Ｒａｎｄｏｍ  Ｓｅｅｄ  Ｖａｌｕｅ）を利用して入力されたデータを調整するようにすることができる。このような調整演算については、後で詳しく説明する。一方、調整レイヤ１３２そのものがジェネレーティングＣＮＮ１３０に必須的な要素ではないが、選択可能な要素である。
【００５２】
デコンボリューション演算に関して、学習装置１００は、コンボリューション演算と類似して、デコーディングレイヤ１３３の少なくとも一つのデコンボリューションニューロンそれぞれをもって、自身に入力された値に対して、自身のパラメータを利用して演算を適用するようにした後、出力された値をその次のデコンボリューションニューロンに伝達するようにすることで、自身に入力されたデータに対してデコンボリューション演算を適用するようにすることができる。コンボリューション演算とデコンボリューション演算とは類似しているように見えるが、コンボリューション演算は、入力されたデータをダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）するのに利用され得、デコンボリューション演算は入力されたデータをアップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）するのに利用され得る。
【００５３】
これとは異なって、ディスクリミネーティングＣＮＮ１４０は、入力されたイメージについて分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）作業を遂行できるネットワークアーキテクチャ（Ｎｅｔｗｏｒｋ  Ａｒｃｈｉｔｅｃｔｕｒｅ）であれば、どんなものでも利用して設計され得る。つまり、後で説明するが、ディスクリミネーティングＣＮＮ１４０が必ず遂行しなければならないのは、自身に入力されたイメージをカテゴリ、つまり、実際世界における実際イメージ及び仮想世界における仮想イメージに分類して、入力されたイメージがそれぞれのカテゴリに含まれる確率それぞれを算出することである。そのため、これを遂行できるネットワークであれば、どんなものでもディスクリミネーティングＣＮＮ１４０として設定が可能である。例えば、通常の技術者は、コンボリューション演算を遂行するコンボリューションレイヤと、プーリング演算を遂行するプーリングレイヤと、ＦＣ演算（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  Ｏｐｅｒａｔｉｏｎ）を随行するＦＣレイヤとを含むディスクリミネーティングＣＮＮ１４０を設計することができる。または、通常の技術者は、ディスクリミネーティングＣＮＮ１４０を設計するため、機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野でよく知られた先行研究である、グッドフェローらが論文「ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｓ）」で開示したディスクリミネータ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）の構造を参照することもできる。
【００５４】
以上、本発明の学習装置１００そのもの、これに含まれたジェネレーティングＣＮＮ１３０及びディスクリミネーティングＣＮＮ１４０の構造について説明した。図３を参照に、本発明の学習方法について説明する。
【００５５】
図３は、本発明の一実施例に係るＧＡＮを利用して、仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法を概略的に示したフローチャートである。
【００５６】
図３を参照すれば、（ｉ）仮想世界に対応する仮想映像の第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ、（ｉｉ）第Ｎ仮想トレーニングイメージに含まれている物体に対する第Ｎメタデータ、及び（ｉｉｉ）仮想映像の第Ｎ−Ｋフレームに対する第Ｎ−Ｋ参照情報（Ｒｅｆｅｒｅｎｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）が取得されると、学習装置１００は、ジェネレーティングＣＮＮ１３０内のエンコーディングレイヤ１３１をもって、第Ｎ仮想トレーニングイメージと、第Ｎメタデータと、第Ｎ−Ｋ参照情報とに対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの第Ｎ特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成するようにすることができる（Ｓ０１）。その後、学習装置１００は、ジェネレーティングＣＮＮ１３０内のデコーディングレイヤ１３３をもって、第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、第Ｎ変換イメージ（Ｔｒａｎｓｆｏｒｍｅｄ Ｉｍａｇｅ）を生成するようにすることができる（Ｓ０２）。そして、学習装置１００は、ディスクリミネーティングＣＮＮ１４０をもって、第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、第Ｎ変換イメージが実際世界における実際イメージのうちの一つまたは仮想世界における仮想イメージのうちの一つである確率を含む第１予測イメージカテゴリスコアベクトル（Ｅｓｔｉｍａｔｅｄ Ｉｍａｇｅ Ｃａｔｅｇｏｒｙ Ｓｃｏｒｅ Ｖｅｃｔｏｒ）を生成するようにできる（Ｓ０３）。最後に、学習装置１００は、ジェネレーティングＣＮＮ１３０内のジェネレーティングロスレイヤ１３４をもって、第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴイメージカテゴリスコアベクトルを参照にして少なくとも一つのジェネレーティングＣＮＮロスを生成するようにし、ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによってジェネレーティングＣＮＮ１３０のパラメータのうちの少なくとも一部を学習するようにすることができる（Ｓ０４）。前記Ｎは２以上の整数であり、Ｋは１以上Ｎ−１以下の整数であり得る。Ｎが１である場合は、前記プロセスと類似するが、少し異なるプロセスを経て演算され得、これについては後で説明する。
【００５７】
概略的な本発明の構造について説明をした。以下、これをさらに具体的に説明する。まず、ＧＡＮ構造が本発明にどのように活用されるかについて、図４を参照にして説明する。
【００５８】
図４は、本発明の一実施例に係るＧＡＮを利用して仮想世界についての仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法をジェネレーティングＣＮＮ及びディスクリミネーティングＣＮＮが遂行する方式を概略的に示した図面である。
【００５９】
図４を参照すると、ジェネレーティングＣＮＮ１３０は、ディスクリミネーティングＣＮＮ１４０からのフィードバック、すなわち、第１予測イメージカテゴリスコアベクトルを利用して学習される。具体的には、ジェネレーティングＣＮＮ１３０は、前述した第Ｎ仮想トレーニングイメージを入力として取得し、これをさらに実際のように見えるようにプロセシングして第Ｎ変換イメージを生成する。ディスクリミネーティングＣＮＮ１４０は、第Ｎ変換イメージを取得した後、第Ｎ変換イメージが実際イメージのうちの一つであるか、もしくは仮想イメージの一つであるかを判断することになる。ディスクリミネーティングＣＮＮ１４０が、第Ｎ変換イメージが実際イメージの一つであると判断したなら、これはジェネレーティングＣＮＮ１３０が変換プロセスをうまく遂行したものとして確認され得る。一方、ディスクリミネーティングＣＮＮ１４０が、第Ｎ変換イメージを仮想イメージの一つであると判断したなら、これはジェネレーティングＣＮＮ１３０がこの変換プロセスをうまく遂行できなかったものとして確認され得る。このような結果には、ジェネレーティングＣＮＮロスが反映されており、これは、ディスクリミネーティングＣＮＮ１４０が間違った判断を、つまり、ジェネレーティングＣＮＮ１３０から出力されたイメージのカテゴリを不正確に判断する確率をもっと大きくするようにジェネレーティングＣＮＮ１３０を学習するのに利用され得る。
【００６０】
このように、ディスクリミネーティングＣＮＮ１４０は、ジェネレーティングＣＮＮ１３０と並列的に学習され得る。学習プロセスの間、ジェネレーティングＣＮＮ１３０はディスクリミネーティングＣＮＮ１４０を騙そうとし、ディスクリミネーティングＣＮＮ１４０は騙されないようにするため、２つのＣＮＮは対立的に（Ａｄｖｅｒｓｅｌｙ）学習されると表現することができる。つまり、ディスクリミネーティングＣＮＮ１４０は、これに含まれたディスクリミネーティングロスレイヤをもって、第Ｎ変換イメージを判断する際に生成された第１予測イメージカテゴリスコアベクトル及び第１ＧＴイメージカテゴリスコアベクトルを参照にして第１ディスクリミネーティングＣＮＮロスを生成するようにし、第１ディスクリミネーティングＣＮＮロスを利用してバックプロパゲーションを遂行することにより、ディスクリミネーティングＣＮＮ１４０のパラメータのうちの少なくとも一部を学習するようにすることができる。このプロセスによって、ディスクリミネーティングＣＮＮ１４０は、自身に入力されたイメージのカテゴリを正確に判断する確率がもっと大きくなって、もっと賢くなり得る。
【００６１】
ただし、仮想イメージから取得した第Ｎ変形イメージのように、ジェネレーティングＣＮＮ１３０からの出力だけでディスクリミネーティングＣＮＮ１４０が学習されると、ディスクリミネーティングＣＮＮ１４０がまともに機能しない恐れがある。そのため、実際イメージもディスクリミネーティングＣＮＮ１４０の学習に利用される。つまり、Ｓ０１ないしＳ０４段階と並列的に、実際イメージのうちの少なくとも一つのトレーニングイメージが取得されると、前記学習装置１００は、（ｉ）ディスクリミネーティングＣＮＮ１４０をもって、実際トレーニングイメージに対してディスクリミネーティングＣＮＮ演算を適用するようにして、実際トレーニングイメージが実際イメージのうちの一つまたは仮想イメージの一つである確率に対する情報を含む第２予測イメージカテゴリスコアベクトルを生成するようにした後、（ｉｉ）ディスクリミネーティングロスレイヤをもって、第２予測イメージカテゴリスコアベクトル及びこれに対応する第２ＧＴイメージカテゴリスコアベクトルを参照にして第２ディスクリミネーティングＣＮＮロスを生成するようにし、これを利用してバックプロパゲーションを遂行することにより、ディスクリミネーティングＣＮＮ１４０のパラメータのうちの少なくとも一部を学習するようにすることができる。
【００６２】
以上、本発明の全般的なコンセプトとともに、ジェネレーティングＣＮＮ１３０のプロセスを支援するディスクリミネーティングＣＮＮ１４０の学習プロセスについて説明した。次に、この発明で主要な部分に当たるジェネレーティングＣＮＮ１３０の具体的な具現事項について説明する。
【００６３】
まず、ジェネレーティングＣＮＮ１３０に入力される第Ｎ仮想トレーニングイメージについて説明する。第Ｎ仮想トレーニングイメージは、シミュレーションモジュールによってシミュレーションされた仮想世界の中の仮想自動車から取得した撮影されたイメージであり得る。このような第Ｎ仮想トレーニングイメージは、彩度とコントラストが実際イメージに比べて高く、不自然な光の進行様相などの非現実的な特性を有するイメージであり得る。ジェネレーティングＣＮＮ１３０は、これをすぐ第Ｎ変換イメージに変換せず、一部追加的な情報を取得した後に変換することができる。
【００６４】
ここで追加的な情報は、前述した第Ｎメタデータ及び仮想映像の第ＮーＫフレームに対応する第Ｎ−Ｋ参照情報であり得る。第Ｎメタデータは、第Ｎ仮想トレーニングイメージ内の少なくとも一つの位置情報及び少なくとも一つのクラス情報に対する情報を含み得る。第Ｎ−Ｋ参照情報は、第Ｎ−Ｋフレームに対する情報を含むものであるが、このような情報は、仮想映像を変換する間、仮想映像のフレームの間の一貫して統一した関係を維持するようにするために利用される。一例として、Ｋは、１であり得る。このような 第Ｎ−Ｋ参照情報は、第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想トレーニングイメージ、第Ｎ−Ｋ変換イメージ及び第Ｎ−Ｋメタデータのうちの少なくとも一部を含み得る。簡単に言えば、（ｉ）変換前の以前フレーム（Ｐｒｅｖｉｏｕｓ Ｆｒａｍｅ）、（ｉｉ）変換後の以前フレーム及び（ｉｉｉ）以前フレームに含まれた物体に対する情報は、現在フレーム（Ｃｕｒｒｅｎｔ Ｆｒａｍｅ）を変換するのに利用され得る。
【００６５】
しかし、通常の技術者は、最初のフレーム、つまり、Ｎが１である場合、以前フレームがないため、どのように最初のフレームを変換するかについて疑問を持ち得る。この場合には、最初のフレームについての情報を単純に再利用することができる。一例として、Ｎが２以上である場合、一番目のインプットノード（Ｉｎｐｕｔ  Ｎｏｄｅ）には第Ｎ仮想トレーニングイメージが入力され、二番目のインプットノードには第Ｎメタデータが入力され、三番目のインプットノードには第ＮーＫ参照情報が入力される。この例示で、一番目及び二番目のインプットノードそれぞれには、第１仮想トレーニングイメージ及びこれに対応する第１メタデータそれぞれが入力され、三番目のインプットノードには、第１仮想トレーニングイメージ、第１メタデータ及び第１仮想トレーニングイメージを含む第１参照情報が入力され得る。ノード入力の一貫性を保つために、このような構造が利用され得る。
【００６６】
また、ジェネレーティングＣＮＮ１３０がさらに多様で豊富な出力を生成するようにするため、調整レイヤ１３２が選択的に利用され得る。調整レイヤ１３２によって遂行される調整演算は、第Ｎフレーム前に取得された第Ｎランダムシード値を参照にして、エンコーディングレイヤ１３１によって生成された第Ｎ特徴マップを調整する演算である。ニューラルネットワーク構造基盤の演算を利用すると、ジェネレーティングＣＮＮ１３０の出力が単調になりすぎる恐れがあるため、それぞれのフレームを変換するために第Ｎランダムシード値を含むランダムシード値が利用される。ただし、単一のイメージではなく、複数のフレームを含む「映像」を変換するものであり、フレーム間の調和がうまくとれるべきである。そのため、互いに相対的に隣接した一部のフレームは、固定されたランダムシード値を共有することができる。学習方法を簡単に具現するには、ランダムシード値が仮想映像のフレーム全体に対して固定されることもある。
【００６７】
調整レイヤ１３２の出力である第Ｎ調整特徴マップが生成されると、学習装置１００は、デコーディングレイヤ１３３をもって、第Ｎ特徴マップに対してデコンボリューション演算を適用するようにして、第Ｎ変換イメージを生成するようにすることができる。以後のプロセスは、前述のとおりに行われ得る。
【００６８】
以上で説明した学習方法を利用して、学習が完了したジェネレーティングＣＮＮ１３０をテストする方法について以下に説明する。
【００６９】
まず、（１）（ｉ）仮想世界での前記学習用仮想映像の学習用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ（Ｖｉｒｔｕａｌ Ｔｒａｉｎｉｎｇ Ｉｍａｇｅ）、（ｉｉ）第Ｎ仮想トレーニングイメージに含まれている少なくとも一つの学習用物体に対する学習用第Ｎメタデータ、及び（ｉｉｉ）学習用仮想映像の学習用第Ｎ−Ｋフレームに対する学習用第Ｎ−Ｋ参照情報が取得されると、学習装置１００は、ジェネレーティングＣＮＮ１３０内の少なくとも一つのエンコーディングレイヤ１３１をもって、第Ｎ仮想トレーニングイメージ、学習用第Ｎメタデータ及び学習用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つの学習用第Ｎ特徴マップを生成するようにし、（２）学習装置１００が、ジェネレーティングＣＮＮ内のデコーディングレイヤ１３３をもって、学習用第Ｎ特徴マップに対してデコンボリューション演算を少なくとも一度適用するようにして、学習用第Ｎ変換イメージを生成するようにし、（３）学習装置１００は、ジェネレーティングＣＮＮ１３０と対立的に学習されるディスクリミネーティングＣＮＮ１４０をもって、学習用第Ｎ変換イメージに対してディスクリミネーティングＣＮＮ演算を少なくとも一度適用するようにして、学習用第Ｎ変換イメージが実際世界における実際イメージのうちの一つまたは仮想世界における仮想イメージのうちの一つである確率を含む第１予測イメージカテゴリスコアベクトルを生成するようにし、（４）学習装置１００は、ジェネレーティングＣＮＮ１３０内のジェネレーティングロスレイヤ１３４をもって、第１予測イメージカテゴリスコアベクトル及びこれに対応する第１ＧＴイメージカテゴリスコアベクトルを参照にして、少なくとも一つのジェネレーティングＣＮＮロスを生成するようにし、ジェネレーティングＣＮＮロスを参照にしてバックプロパゲーションを遂行することによってジェネレーティングＣＮＮ１３０のパラメータのうちの少なくとも一部を学習するようにし、学習装置は、ジェネレーティングロスレイヤをもって、ディスクリミネーティングＣＮＮ１４０がジェネレーティングＣＮＮから出力されたイメージのカテゴリに対して不正確な判断をする確率が大きくなるよう、ジェネレーティングＣＮＮ１３０のパラメータのうちの少なくとも一部を学習するようにした状態で、（ｉ）仮想世界でのテスト用仮想映像のテスト用第Ｎフレームに対応する第Ｎ仮想トレーニングイメージ、（ｉｉ）第Ｎ仮想テストイメージに含まれている少なくとも一つのテスト用物体に対するテスト用第Ｎメタデータ、及び（ｉｉｉ）テスト用仮想映像のテスト用第ＮーＫフレームに対するテスト用第Ｎ−Ｋ参照情報が取得されると、テスト装置は、ジェネレーティングＣＮＮ１３０内のエンコーディングレイヤ１３１をもって、第Ｎ仮想テストイメージ、テスト用第Ｎメタデータ及びテスト用第Ｎ−Ｋ参照情報に対してコンボリューション演算を少なくとも一度適用するようにして、少なくとも一つのテスト用第Ｎ特徴マップを生成するようにできる。
【００７０】
その後、テスト装置が、ジェネレーティングＣＮＮ１３０に含まれたデコーディングレイヤ１３３をもって、テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用するようにして、テスト用第Ｎ変換イメージを生成するようにすることができる。
【００７１】
この際、テスト用ＮーＫ参照情報は、テスト用仮想映像のテスト用第Ｎ−Ｋフレームに対応する、第Ｎ−Ｋ仮想テストイメージ、テスト用第Ｎ−Ｋ変換イメージ及びテスト用第Ｎ−Ｋメタデータのうちの少なくとも一部を含み得る。また、テストプロセスについても、テスト装置が、調整レイヤ１３２をもって、第Ｎランダムシード値を参照してテスト用第Ｎ特徴マップについて調整演算を適用するようにして、テスト用第Ｎ調整特徴マップを生成するようにすることができる。また、テスト装置は、テスト用第Ｎ調整特徴マップに対してデコンボリューション演算を適用してテスト用第Ｎ変換イメージを生成させることができる。
【００７２】
このようにテスト用第Ｎ変換イメージが生成されることにより、これをテスト用第Ｎフレームとして含むテスト用変換映像が生成されることがある。すると、テスト装置は、このようなテスト用変換映像をトレーニングデータとして自律走行用ＣＮＮに入力できる。なお、これと並列的に、テスト装置は、テスト用変換映像に対応するアノテートされた（Ａｎｎｏｔａｔｅｄ）テスト用変換映像をＧＴとして自律走行用ＣＮＮに入力することができる。このような入力プロセスは、自律走行用ＣＮＮの学習プロセスを支援するためである。
【００７３】
ここで、アノテーションされたテスト用変換映像は、テスト用仮想映像に対応するテスト用仮想世界をシミュレーションしたシミュレーションモジュールから取得され得る。自律走行用ＣＮＮが実際イメージを利用して学習する場合、実際イメージに対するアノテーション情報を取得するために人の労働力が必要なので、多くの費用がかかるという問題がある。しかし、テスト用変換映像を利用する場合、アノテーション情報を含むアノテーションされた変換映像をシミュレーションモジュールから自動で取得できるため、自律走行用ＣＮＮの学習のためのコストが減るメリットがある。
【００７４】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００７５】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００７６】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020123345.tif 000003
【図２】
2020123345.tif 000004
【図３】
2020123345.tif 000005
【図４】
2020123345.tif 000006