(57)【要約】      （修正有）【課題】極限状況でフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ＧＡＮを利用してワーピングされたイメージに発生した歪曲を減らすための学習方法を提供する。【解決手段】学習方法は、初期イメージを取得すると、生成ネットワークに含まれている調整レイヤをもって、少なくとも一部の初期特徴値を調整させて初期イメージを調整イメージに変換させる段階及び自然度スコアと、特性保持スコアと、類似度スコアとのうち少なくとも一部を取得すると、生成ネットワークに含まれているロスレイヤをもって、自然度スコアと、特性保持スコアと、類似度スコアとを参照して生成ネットワークロスを生成させて生成ネットワークのパラメータを学習させる段階；を含む。学習方法は行動予測、超精密物体の検出又は追跡などに使用することができる。【選択図】図２
2020119555.tif 000002
【特許請求の範囲】
【請求項１】
ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習方法において、
（ａ）少なくとも１つの初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）を取得すると、学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも１つの調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させる段階；及び
（ｂ）前記学習装置が、（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させる段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階で、
前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする請求項１に記載の方法。
【請求項３】
前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ  Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする請求項１に記載の方法。
【請求項５】
前記（ｂ）段階で、
前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ  Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）との間の差に関する情報を参照して、前記類似度スコアを生成することを特徴とする請求項１に記載の方法。
【請求項６】
前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする請求項５に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ  Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする請求項１に記載の方法。
【請求項８】
前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）を参照して生成されることを特徴とする請求項７に記載の方法。
【請求項９】
ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト方法において、
（１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させた状態で、テスト装置が、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させる段階；
を含むことを特徴とするテスト方法。
【請求項１０】
ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）少なくとも一つの初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）を取得すると、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも一つの調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させるプロセス、及び（ＩＩ）（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。
【請求項１１】
前記（ＩＩ）プロセスで、
前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする請求項１０に記載の装置。
【請求項１２】
前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記（ＩＩ）プロセスで、
前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ  Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする請求項１０に記載の装置。
【請求項１４】
前記（ＩＩ）プロセスで、
前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ  Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする請求項１０に記載の装置。
【請求項１５】
前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記（ＩＩ）プロセスで、
前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ  Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする請求項１０に記載の装置。
【請求項１７】
前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）を参照して生成されることを特徴とする請求項１６に記載の装置。
【請求項１８】
ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
（１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させた状態で、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行自動車に使用される学習方法及び学習装置、そして、それを利用したテスト方法及びテスト装置に関し、より詳細にはワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲をＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ＣＮＮは、自動車の自律走行分野でも広く使用されているが、これは主に自動車に取り付けられたカメラを通じて取得された映像を分析することで障害物を検出し、フリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）を検出するなどの機能を遂行して安全に車両が走行し得るようにする。
【０００３】
ところが、このようにＣＮＮを利用して自動車を自律走行させる方法は、特定の状況において遂行が困難であり得る。すなわち、ＣＮＮは、カメラを通じて得られた映像を使用しなければならないが、カメラが揺れるなどの問題により映像が大きく揺れると、映像のそれぞれのフレームごとにイメージが大きく変わる「ジッタリング（Ｊｉｔｔｅｒｉｎｇ）」現象が発生するようになる。このようなジッタリング現象が発生すると、ＣＮＮが映像上の物体の動きを追跡するのが難しくなる。特に、このようなジッタリング現象は、オフロードを頻繁に走る軍用車両の自律走行中に非常に多く発生し、このような発生を防ぐ方法が極めて重要である。
【０００４】
このようなジッタリングを除去する従来技術として、カメラの動きを測定してジッタリングが発生したイメージを物理的に正す方法があるが、この場合、カメラモジュールの重さが増加して費用がかさみ、様々な装置の使用により故障の危険が増加する。代案としてソフトウェア技術があるが、これはイメージをグリッドに分けて、カメラの揺れによるそれぞれの前記グリッドのそれぞれの動きを示すそれぞれのベクトルを算出した後、それぞれの前記ベクトルを参照してそれぞれのグリッドをワーピング（Ｗａｒｐｉｎｇ）することによってジッタリングをなくす方法である。
【０００５】
ところが、このようなソフトウェア技術によると、これはイメージのオプティカルフロー（Ｏｐｔｉｃａｌ  Ｆｌｏｗ）のみを考慮し、ジッタリングが発生したイメージを調整する過程でイメージに歪曲を大きく起こすため、イメージ上で認識されるべき物体が認識されないようにしたり、当該イメージを過度に非現実的に変換するようになる問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述した問題点を解決することを目的とする。
【０００７】
本発明は、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させる過程において生成されたワーピングされた（Ｗａｒｐｅｄ）イメージで生じた歪曲を、ＧＡＮを利用して減らす方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習方法において、（ａ）少なくとも１つの初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）を取得すると、学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも１つの調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させる段階；及び（ｂ）前記学習装置が、（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させる段階；を含むことを特徴とする。
【０００９】
一実施例において、前記（ｂ）段階で、前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする。
【００１０】
一実施例において、前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする。
【００１１】
一実施例において、前記（ｂ）段階で、前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ  Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする。
【００１２】
一実施例において、前記（ｂ）段階で、前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ  Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする。
【００１３】
一実施例において、前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする。
【００１４】
一実施例において、前記（ｂ）段階で、前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ  Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする。
【００１５】
一実施例において、前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）を参照して生成されることを特徴とする。
【００１６】
本発明の他の態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト方法において、（１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させた状態で、テスト装置が、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させる段階；を含むことを特徴とする。
【００１７】
本発明のまた他の態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）少なくとも一つの初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）を取得すると、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも一つの調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させるプロセス、及び（ＩＩ）（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００１８】
一実施例において、前記（ＩＩ）プロセスで、前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする。
【００１９】
一実施例において、前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ  Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする。
【００２０】
一実施例において、前記（ＩＩ）プロセスで、前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ  Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ  Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする。
【００２１】
一実施例において、前記（ＩＩ）プロセスで、前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ  Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする。
【００２２】
一実施例において、前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする。
【００２３】
一実施例において、前記（ＩＩ）プロセスで、前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ  Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする。
【００２４】
一実施例において、前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）を参照して生成されることを特徴とする。
【００２５】
本発明の他の態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ  Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させた状態で、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【発明の効果】
【００２６】
本発明は、ＲＧＢフォーマットであるトレーニングイメージのセットをサイクルＧＡＮを利用して非ＲＧＢフォーマットに変換して非ＲＧＢフォーマットのトレーニングイメージセットに生じる問題を緩和させる効果がある。
【図面の簡単な説明】
【００２７】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図１】図１は、本発明の一実施例によるジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させる過程でワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲を、ＧＡＮを利用して減らす方法を遂行するための学習装置の構成を簡略に示した図面である。
【図２】図２は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らすプロセスを簡略に示した図面である。
【図３】図３は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らすプロセスの効果を簡略に示した図面である。
【発明を実施するための形態】
【００２８】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００２９】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３０】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３１】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００３２】
図１は、本発明の一実施例によるジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させる過程でワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲を、ＧＡＮを利用して減らす方法を遂行するための学習装置の構成を簡略に示した図面である。
【００３３】
図１を参照すると、学習装置１００は、追って詳細に説明する構成要素である生成ネットワーク１３０と、判別ネットワーク１４０と、物体検出ネットワーク１５０とを含むことができる。生成ネットワーク１３０、判別ネットワーク１４０及び物体検出ネットワーク１５０の入出力及び演算の過程は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行することができ、追って説明するプロセスを遂行することによって本発明を遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、媒体又は他の学習装置の全ての組み合わせを含む統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）を含む場合を排除するわけではない。
【００３４】
以上、ＧＡＮを利用してジッタリングが起きたイメージを安定化させるプロセスで生成された、ワーピングされたイメージ内に発生した歪曲を減らすための学習方法を遂行する学習装置１００の構成を考察した。以下、前記学習方法について図２を参照して検討することにする。
【００３５】
図２は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らす方法を学習するプロセスを簡略に示した図面である。
【００３６】
図２を参照すると、少なくとも一つの初期イメージが生成ネットワーク１３０に入力されると、生成ネットワーク１３０に含まれている調整レイヤ１３１により少なくとも一つの調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）が生成され得る。以後、生成ネットワーク１３０に含まれているロスレイヤ１３３が、（ｉ）生成ネットワーク１３０に含まれている比較レイヤ１３２と、判別ネットワーク１４０と、物体検出ネットワーク１５０とによって生成された調整イメージに対するスコアを取得し、（ｉｉ）前記スコアを参照して生成ネットワークロスを生成した後、（ｉｉｉ）これをバックプロパゲーションすることによって生成ネットワーク１３０のパラメータを学習することができる。
【００３７】
具体的に、学習装置１００は、初期イメージを取得することができる。初期イメージは、ジッタリングが起きたイメージからジッタリングを除去するプロセスを通じて生成された安定化したイメージのうち一つであり得る。この場合、前記ジッタリング除去プロセスは、ジッタリングが起きたイメージを複数のグリッドに分けるプロセスと、カメラが揺れて発生したグリッドの動きを示すジッタリングベクトルを算出するプロセスと、それぞれのジッタリングベクトルのそれぞれの逆方向にそれぞれのグリッドを動かすジッタリングイメージをワーピングするプロセスとを含むことができる。問題は、ワーピングプロセスが他の方向にグリッドを移動させて安定化したイメージ上に一部歪曲現象を引き起こし得るという点である。よって、このような過程を経て生成された初期イメージは、その内部の物体の形が一部歪曲している状態であり得る。
【００３８】
少なくとも一つの初期イメージが取得されると、学習装置１００は、生成ネットワーク１３０をもって初期イメージを少なくとも一つの調整イメージに変換させることができる。具体的に、学習装置１００は、生成ネットワーク１３０に含まれている調整レイヤ１３１をもって、初期イメージに含まれているピクセルに対応する初期特徴値の少なくとも一部を調整することによって初期イメージを調整イメージに変換させることができる。
【００３９】
調整レイヤ１３１は、初期特徴値に対してコンボリューション演算及びデコンボリューション演算を少なくとも一回ずつ適用することによって初期イメージを調整イメージに変換することができるであろう。この際、初期特徴値は、初期イメージがＲＧＢフォーマットとして表現されている場合、色相値を含むことができる。初期イメージがＲＧＢフォーマットでない場合、該当フォーマットの値を含むことができる。また、初期イメージが複数チャンネルの値を含んでいるのであれば、初期値もこれを含むことができる。
【００４０】
以後、調整イメージは、生成ネットワーク１３０に含まれている比較レイヤ１３２と、判別ネットワーク１４０と、物体検出ネットワーク１５０とに伝達された後、生成ネットワークロスを生成するためのそれぞれのスコアを生成するのに使用されるようになる。以下、それぞれのスコアを生成するプロセスについて説明するが、まず、判別ネットワーク１４０により遂行されるプロセスについて説明することにする。
【００４１】
第一に、判別ネットワーク１４０は、調整イメージがリアル（Ｒｅａｌ）イメージと判断される、少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）を生成することができる。具体的に、判別ネットワーク１４０は、調整イメージにコンボリューション演算を少なくとも一回適用することによって調整イメージに対応する特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成し、これを参照して、調整イメージがリアルイメージ又はバーチャル（Ｆａｋｅ）イメージであるのかを表す少なくとも一つの確率を判断することによって、自然度スコアを生成することができる。自然度スコアを生成するために、判別ネットワーク１４０は、生成ネットワーク１３０と並列して学習され得る。
【００４２】
具体的に、生成ネットワーク１３０により生成された調整イメージが取得される間、判別ネットワーク１４０は、それ自体に入力されたイメージが調整イメージであるのか学習用リアルイメージであるのかを表す学習用リアルイメージと、これに対応する原本正解とをさらに取得することができる。この際、それぞれの原本正解は、それぞれに対応するイメージがリアルイメージであるのかバーチャルイメージであるのかを示す。以後、判別ネットワーク１４０は、調整イメージと学習用リアルイメージとを含んでそれ自体に入力されたそれぞれのイメージに対してコンボリューション演算を少なくとも一回適用して生成されたそれぞれの特徴マップを参照して、それ自体に入力されたイメージがリアルイメージであるのかバーチャルイメージであるのかを判断することができる。判別ネットワーク１４０は、判断の結果とそれに対応する原本正解とを参照して判別ネットワークロスを生成した後、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習することができる。
【００４３】
このような学習プロセスを通じて、判別ネットワーク１４０は、生成ネットワーク１３０と並列して学習され得るようになる。
【００４４】
ただし、その他の実施例として、判別ネットワーク１４０は調整イメージのサブ領域（Ｓｕｂ−ｒｅｇｉｏｎ）がリアルイメージであるのか又はバーチャルイメージであるのかを表す確率を決定することができ、この確率を参照して自然度スコアを生成することができる。この際、サブ領域は、「スライディングウィンドウ（Ｓｌｉｄｉｎｇ  Ｗｉｎｄｏｗ）」と呼ばれる方法により選択され得る。詳細には、第１サブ領域が調整イメージ内に選択され得、第１サブ領域等を少しずつ動かして行って第２サブ領域を選択することができる。
【００４５】
第二に、物体検出ネットワーク１５０は、初期イメージに含まれている少なくとも一つの初期物体が固有の特性が保持された状態で調整イメージに含まれているのかを表す、少なくとも一つの特性保持スコアを生成することができる。具体的に、物体検出ネットワーク１５０は、（ｉ）ＲＰＮからそれ自体に入力されたイメージ上のそれぞれのＲＯＩを取得することができ、（ｉｉ）それぞれのＲＯＩに対してコンボリューション演算を少なくとも一回適用することによってそれぞれの特徴マップを生成した後、（ｉｉｉ）それぞれの特徴マップに対してＦＣ演算を適用することによってそれぞれのＲＯＩに含まれるそれぞれの物体のクラスに対応する確率を含むそれぞれのクラススコアを生成することができる。この際、クラススコアに関する特定の情報を、例を挙げて説明すると、物体検出ネットワーク１５０が検出する物体を歩行者クラスと、自動車クラスと、背景クラスとを含む３つのクラスに分類すれば、特定の物体に対応する特定のクラススコアは、第一に特定ＲＯＩに含まれている特定の物体が歩行者である確率、第二に特定の物体が自動車である確率、及び第三に特定の物体が背景である確率である３つの構成要素を含むことができる。残りのクラススコアがほぼ同様に生成された後、物体検出ネットワーク１５０は、それぞれのクラススコアを参照して特性保持スコアを生成することができる。
【００４６】
一例として、特性保持スコアは、それぞれのクラススコアに対応する、それぞれの部分特性保持スコアの和として算出され得る。この場合、前記特定の物体に対応する部分特性保持スコアのうち特定の部分特性保持スコアは、（ｉ）特定の物体が背景クラスでない物体クラスに含まれる確率のうち最も大きい値と（ｉｉ）特定の物体が背景クラスに含まれる確率と１との間の差を足し合わせて算出することができる。たとえば、特定のクラススコアが（０．７、０．２、０．１）であれば、特定の一部特性保持スコアは０．７＋（１−０．１）＝１．６と計算されるはずである。
【００４７】
前記判別ネットワーク１４０と異なり、物体検出ネットワーク１５０は、生成ネットワーク１３０と並列して学習するのではなく、生成ネットワーク１３０の学習過程が遂行される以前にすでに学習されたものであり得る。
【００４８】
最後に、比較レイヤ１３２は、初期イメージ及び調整イメージ間の類似する程度を表す類似度スコアを生成することができる。具体的に、比較レイヤ１３２は、初期特徴値と、これに対応する、調整イメージに含まれている調整特徴値との間の差に関する情報を生成した後、これを利用して類似度スコアを生成することができる。
【００４９】
例示として、比較レイヤ１３２は、それぞれの初期特徴値と、それに対応するそれぞれの調整特徴値との間のそれぞれのユークリッド距離（Ｅｕｃｌｉｄｅａｎ  Ｄｉｓｔａｎｃｅ）を算出して差に関する情報を生成することができ、構成要素がすべて０である元来の地点からそれぞれの初期特徴値までのそれぞれのユークリッド距離を足し合わせて和の情報（Ｓｕｍ  Ｉｎｆｏｒｍａｔｉｏｎ）を生成することができる。その後、比較レイヤ１３２は、差に関する情報を前記和で割った後、これを１から引くことによって、類似度スコアを生成することができる。
【００５０】
以上、自然度スコア、特性保持スコア、類似度スコアを生成する方法について具体的に考察してみた。このようなスコアがどのように使用されるのかに関する説明は、以下、ロスレイヤ１３３について説明しつつ併せて詳細に説明する。
【００５１】
学習装置１００は、ロスレイヤ１３３をもって、自然度スコアと、特性保持スコアと、類似度スコアとを参照して生成ネットワークロスを生成させることができる。生成ネットワークロスは、統合スコアが大きくなるように生成ネットワーク１３０に含まれているパラメータが学習されるようにすることができる。この際、統合スコアは、少なくとも一つの自然度スコアと、特性保持スコアと、類似度スコアとを参照して算出され得る。例示として、統合スコアは、自然度スコアと、特性保持スコアと、類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）を参照して生成され得る。ロスレイヤは、下記の数式によって生成ネットワークロスを生成することができる。
【００５２】
【数１】
2020119555.tif 000003
前記数式でＥ1（Ｇ）は自然度スコアを意味し、Ｅ2（Ｇ）は特性保持スコアを意味し、Ｅ3（Ｇ）は類似度スコアを意味し得る。そして、αとβとはそれぞれの項（Ｔｅｒｍ）に対応する重み付け値を意味する。
【００５３】
第一に、Ｅ1（Ｇ）は、上記で見られるように基本的な実施例では、「スライディングウィンドウ」と呼ばれる方法を利用する場合、
【００５４】
【数２】
2020119555.tif 000004
であり得、又は単にＤ（Ｇ（Ｉ））として与えられ得るが、これは、判別ネットワーク１４０が調整イメージをリアルイメージとして判断する確率を表す。「スライディングウィンドウ」という方法を用いる場合には、
【００５５】
【数３】
2020119555.tif 000005
項は、調整イメージに含まれるそれぞれのサブ領域がリアルイメージ又はバーチャルイメージであるそれぞれの確率を足し合わせて、その結果として生じた値を正規化（Ｎｏｍａｌｉｚｉｎｇ）するためのものである。Ｋｗは前記サブ領域の幅、Ｋhは前記サブ領域の高さを意味し、Ｗは調整イメージの幅、Ｈは調整イメージの高さを意味する。Ｓｘは前記サブ領域の左辺と調整イメージ左辺との間の距離を意味し、Ｓｙは前記サブ領域の上辺と調整イメージの上辺との間の距離を意味する。数式によってＥ1（Ｇ）は、以前に説明したような機能をすることができる。
【００５６】
第二に、Ｅ2（Ｇ）で、
【００５７】
【数４】
2020119555.tif 000006
項は第ｉ物体が背景クラスでない物体クラスに含まれるものと判断される確率のうち最も大きい値を意味し、
【００５８】
【数５】
2020119555.tif 000007
項は１から、第ｉ物体が背景クラスに含まれるものと判断される確率を引いた値を意味する。この場合、
【００５９】
【数６】
2020119555.tif 000008
は、第ｉ物体を含むバウンディングボックス（Ｂｏｕｎｄｉｎｇ  Ｂｏｘ）の位置を意味し得る。
【００６０】
第三に、Ｅ3（Ｇ）で、Iは初期特徴値に対応するベクトル、G(I)は調整特徴値に対応するベクトルを意味する。
【００６１】
このように、統合スコアが大きくなるようにする方向に生成ネットワークロスを生成する理由について、以下で説明することにする。
【００６２】
第一に、自然度スコアを高くなるようにすることによって、調整イメージがより自然に見えるようにする。調整イメージに含まれている物体が歪曲されれば、調整イメージは自然であるように見えない。調整イメージに含まれている物体の歪曲が少ないほど、ディスクリミネーティングネットワーク１４０は、調整イメージがリアルイメージである確率を高く評価するので、自然度スコアが高くなり得る。そうすると、自然度スコアが大きくなって、調整イメージに含まれている初期物体の歪曲を減らすことができる。
【００６３】
第二に、特性保持スコアを高くすることによって、調整イメージに含まれている物体がそれ自体の特性を十分に保持することができる。物体検出ネットワーク１５０が、調整イメージに含まれている物体を容易に検出するほど、特性保持スコアが高くなり得る。そのため、特性保持スコアが高くなるようにすることによって、初期物体の特性が調整プロセスの後にも十分に保持されるようにし得るのである。
【００６４】
第三に、類似度スコアが高くなるようにすることによって、調整イメージにおいて初期物体に対応しない新たな物体が生成されるのを防ぐことができる。類似度スコアなしに自然度スコアと特性保持スコアのみを使用するようになると、調整レイヤ１３１のパラメータは歪曲された初期物体を調整するだけでなく、調整イメージ内に新たな物体を生成する方向に学習され得るからである。よって、類似度スコアが高くなるようにすることによって、望まない新たな物体が調整イメージ上に生成されるのを防ぐことができるのである。
【００６５】
先に説明したように、自然度スコアと、特性保持スコアと、類似度スコアとのうち少なくとも一部の加重和を参照して統合スコアを生成することができる。この際、それぞれのスコアに対応するそれぞれの重み付け値はユーザが調整することができる。例えば、初期イメージと調整イメージとがあまりにも類似していることから物体の歪曲が減らない場合、類似度スコアに対する重み付け値を減らすことができる。
【００６６】
前記のような方法によって生成ネットワークロスが生成されると、学習装置１００は、ロスレイヤ１３３をもって、生成ネットワークロスをバックプロパゲーションすることによって生成ネットワーク１３０のパラメータを学習させることができる。
【００６７】
参考までに、以下の説明で混同を避けるために「学習用」という文句は、前述の学習プロセスに関する用語に対して追加され、「テスト用」という文句はテストプロセスに関する用語に対して追加される。
【００６８】
具体的に、（１）少なくとも一つの学習用初期イメージが取得されると、学習装置が、生成ネットワーク１３０に含まれている調整レイヤ１３１をもって、学習用初期イメージ（Ｉｎｉｔｉａｌ  Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させて学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ  Ｉｍａｇｅ）に変換させ、（２）学習装置が、（ｉ）学習用調整イメージが判別ネットワークによってリアルイメージであるものと判断される、少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ  Ｓｃｏｒｅ）と、（ｉｉ）学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ  Ｏｂｊｅｃｔ）が固有の特性が保持された状態で学習用調整イメージに含まれているのかを表す、少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ  Ｓｃｏｒｅ）と、（ｉｉｉ）学習用初期イメージ及び学習用調整イメージ間の類似する程度を表す、少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）とのうち少なくとも一部を参照して生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ  Ｎｅｔｗｏｒｋ  Ｌｏｓｓ）を生成させた状態で、少なくとも一つのテスト用初期イメージが取得されると、テスト装置が、生成ネットワーク１３０に含まれている調整レイヤ（Ａｄｊｕｓｔｉｎｇ  Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖａｌｕｅ）を調整させてテスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させることができる。
【００６９】
テストプロセスにおいて、前述した学習装置１００の構成で、ディスクリミネーティングネットワーク１４０と、物体検出ネットワーク１５０と、生成ネットワーク１３０とに含まれている比較レイヤ１３２及びロスレイヤ１３３は、除外された状態であり得る。
【００７０】
このようにテストする場合の効果を検討するために、図３を参照することにする。
【００７１】
図３は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らすプロセスの効果を簡略に示した図面である。
【００７２】
図３を参照すると、先に言及したとおり、初期物体はイメージワーピングのために歪曲されたことを確認することができる。この際、本発明の一実施例による方法を初期イメージに適用すると、初期イメージが図３のように歪曲が大幅に減った調整イメージに変換され得る。
【００７３】
本発明は、ＧＡＮを利用して歪曲を減らすことによってジッタリングが起きたイメージを安定化させるプロセス中に生成された、ワーピングされたイメージに発生した歪曲の問題を緩和することができるポジティブな効果がある。
【００７４】
本発明の一実施例による方法は、極限状況において、フォールトトレランス（Ｆａｕｌｔ  Ｔｏｌｅｒａｎｃｅ）及びフラクチュエーションロバスト性（Ｆｌｕｃｔｕａｔｉｏｎ  Ｒｏｂｕｓｔｎｅｓｓ）を向上させるのに使用され得、行動予測、超精密物体の検出又は追跡に使用されてもよい。
【００７５】
本発明の技術分野における通常の技術者に理解され得るところとして、前記で説明されたイメージ、例えば、オリジナルイメージ、オリジナルラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／保持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
【００７６】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００７７】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であると、かかる記載から多様な修正及び変形が行われ得る。
【００７８】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020119555.tif 000009
【図２】
2020119555.tif 000010
【図３】
2020119555.tif 000011