(57)【要約】      （修正有）【課題】自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出する性能を高めるために利用される学習用イメージセットを確保するＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）学習用イメージデータセットの生成方法及び装置並びにこれを利用したテスト方法及びテスト装置を提供する。【解決手段】自律走行状況で、障害物検出のためのＣＮＮ学習用イメージデータセットを生成する方法であって、学習装置は、道路走行状況を示す原本イメージと原本イメージに対応する原本ラベルと、原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルと、を利用して生成された合成ラベルを獲得する段階及び第１ＣＮＮモジュールをもって原本イメージ及び合成ラベルを利用して合成イメージを生成する段階を含む。【選択図】図２
2020038667.tif 000002
【特許請求の範囲】
【請求項１】
自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用イメージデータセットを生成する方法において、
（ａ）学習装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル（ｌａｂｅｌ）及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する段階：及び
（ｂ）前記学習装置が、第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージである段階；
を含むことを特徴とする方法。
【請求項２】
（ｃ）前記学習装置は、第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにして、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにする段階；及び
（ｄ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習する段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｄ）段階で、
前記学習装置は、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする請求項２に記載の方法。
【請求項４】
前記（ａ）段階で、
前記学習装置が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、
前記（ｂ）段階で、
前記学習装置が、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１に記載の方法。
【請求項５】
前記第１ＣＮＮモジュールは、
前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、
前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び
前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記（ａ）段階で、
前記学習装置が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、
前記（ｂ）段階で、
前記学習装置が、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、
前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求子う６に記載の方法。
【請求項８】
前記（ａ）段階で、複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項１に記載の方法。
【請求項９】
（ｅ）前記学習装置は、前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加する段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１０】
自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト方法において、
（ａ）（Ｉ）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応される学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（ＩＩ）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（ＩＩＩ）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（ＩＶ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、テスト装置が、（ｉ）道路走行状況を示すテスト用原本イメージ及び（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを利用して生成されたテスト用合成ラベルを獲得する段階；及び
（ｂ）前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージである段階；
を含むことを特徴とする方法。
【請求項１１】
前記（ａ）段階で、
前記テスト装置が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得して、
前記（ｂ）段階で、
前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記第１ＣＮＮモジュールは、
前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、
前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び
前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記（ａ）段階で、
前記テスト装置が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、
前記（ｂ）段階で、
前記テスト装置が、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、
前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項１０に記載の方法。
【請求項１４】
前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記（ａ）段階で、複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項１０に記載の方法。
【請求項１６】
自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用データセットを生成する学習装置において、
（ｉ）道路走行状況を示す原本イメージ、及び（ｉｉ）前記原本イメージに対応される原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する通信部；及び
（Ｉ）第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；
を含む学習装置。
【請求項１７】
前記プロセッサは、
（ＩＩ）前記第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにし、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセスを及び（ＩＩＩ）前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスをさらに遂行することを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする請求項１７に記載の学習装置。
【請求項１９】
前記通信部が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、
前記（Ｉ）プロセスで、前記プロセッサが、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１６に記載の学習装置。
【請求項２０】
前記第１ＣＮＮモジュールは、
前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、
前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び
前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項１９に記載の学習装置。
【請求項２１】
前記通信部が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、
前記（Ｉ）プロセスで、
前記プロセッサが、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、
前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項１６に記載の学習装置。
【請求項２２】
前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求項２１に記載の学習装置。
【請求項２３】
複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項１６に記載の学習装置。
【請求項２４】
前記プロセッサは、（ＩＶ）前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加するプロセスを遂行することを特徴とする請求項１６に記載の学習装置。
【請求項２５】
自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト装置において、
（１）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応する学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（２）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（３）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（４）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、（ｉ）道路走行状況を示すテスト用原本イメージ、及び（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを使用して生成されたテスト用合成ラベルを獲得する通信部；及び
（Ｉ）前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；
を含むテスト装置。
【請求項２６】
前記通信部が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得し、
前記（Ｉ）プロセスで、
前記プロセスが、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項２５に記載のテスト装置。
【請求項２７】
前記第１ＣＮＮモジュールは、
前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、
前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び
前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項２６に記載のテスト装置。
【請求項２８】
前記通信部が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、
前記（Ｉ）プロセスで、
前記プロセッサは、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、
前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項２５に記載のテスト装置。
【請求項２９】
前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求項２８に記載のテスト装置。
【請求項３０】
複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項２５に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用イメージデータセットの生成方法に関し；より詳しくは、前記自律走行状況で前記障害物検出のための前記ＣＮＮ学習用イメージデータセットを生成する前記方法において、（ａ）（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル（ｌａｂｅｌ）及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する段階：及び（ｂ）第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージである段階；を含む方法及び装置、そしてこれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
一方、イメージセグメンテーション（Ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージ（トレーニングイメージまたはテストイメージ）を受けて、出力としてラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ  ｌｅａｒｎｉｎｇ）技術が脚光を浴び、セグメンテーションもディープラーニングを多く利用する傾向にある。
【０００４】
一方、自律走行状況で利用される障害物を検出するためにＣＮＮを学習する場合、学習装置は自律走行状況で遭遇する様々な物体を学習しなければならず、そのために学習用イメージは自律走行状況で向き合うことになる様々な物体が存在するイメージである必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際の走行状況では、道路上に様々な物体が存在し得るが、このようなデータを収集することは容易ではない。つまり、道路上に頻繁に現れない特異な物体に対する学習イメージは、一般走行映像データでは容易には入手できないだろう。例えば、人や自転車、車両等に対しては、一般走行映像データから容易に得られるイメージであるため、このような物体が含まれる学習イメージでは検出性能を高めるための学習をし得るが、虎やワニ等に対しては、一般走行映像データから容易に入手できず、これにより特異な物体への検出性能を高めるための学習は容易でないという問題点が存在する。
【０００６】
本発明は、前述した問題点を解決することを目的とする。
【０００７】
本発明は、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保することを他の目的とする。
【０００８】
また、実際のイメージのように見える合成イメージを生成するための方法を提供し、前記合成イメージにバウンディングボックス等の様々な情報が含まれるようにし、今後学習に活用されるデータセットを確保するようにする方法を提供することを他の目的とする。
【課題を解決するための手段】
【０００９】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は次の通りである。
【００１０】
本発明の一態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用イメージデータセットを生成する方法において、（ａ）学習装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル（ｌａｂｅｌ）及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する段階：及び（ｂ）前記学習装置が、第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージである段階；を含むことを特徴とする方法を開示する。
【００１１】
一例として、（ｃ）前記学習装置は、第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにして、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにする段階；及び（ｄ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習する段階；をさらに含むことを特徴とする。
【００１２】
一例として、前記（ｄ）段階で、前記学習装置は、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする。
【００１３】
一例として、前記（ａ）段階で、前記学習装置が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、前記（ｂ）段階で、前記学習装置が、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
【００１４】
一例として  前記第１ＣＮＮモジュールは、前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
【００１５】
一例として  前記（ａ）段階で、前記学習装置が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、前記（ｂ）段階で、前記学習装置が、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
【００１６】
一例として、前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
【００１７】
一例として、前記（ａ）段階で、複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
【００１８】
一例として、（ｅ）前記学習装置は、前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加する段階；をさらに含むことを特徴とする。
【００１９】
本発明の他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト方法において、（ａ）（Ｉ）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応する学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（ＩＩ）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（ＩＩＩ）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（ＩＶ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、テスト装置が、（ｉ）道路走行状況を示すテスト用原本イメージ及び、（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを利用して生成されたテスト用合成ラベルを獲得する段階；及び（ｂ）前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージである段階；を含むことを特徴とする方法を開示する。
【００２０】
一例として、  前記（ａ）段階で、前記テスト装置が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得して、前記（ｂ）段階で、前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
【００２１】
一例として、前記第１ＣＮＮモジュールは、前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
【００２２】
一例として、前記（ａ）段階で、前記テスト装置が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、前記（ｂ）段階で、前記テスト装置が、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
【００２３】
一例として、前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
【００２４】
一例として、前記（ａ）段階で、複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
【００２５】
本発明のさらに他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用データセットを生成する学習装置において、（ｉ）道路走行状況を示す原本イメージ、及び（ｉｉ）前記原本イメージに対応される原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する通信部；及び（Ｉ）第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；を含む学習装置を開示する。
【００２６】
一例として、前記プロセッサは、（ＩＩ）前記第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにし、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセスを及び（ＩＩＩ）前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスをさらに遂行することを特徴とする。
【００２７】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする。
【００２８】
一例として、前記通信部が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、前記（Ｉ）プロセスで、前記プロセッサが、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
【００２９】
一例として、前記第１ＣＮＮモジュールは、前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
【００３０】
一例として、前記通信部が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、前記（Ｉ）プロセスで、前記プロセッサが、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
【００３１】
一例として、前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
【００３２】
一例として、複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
【００３３】
一例として、前記プロセッサは、（ＩＶ）前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加するプロセスを遂行することを特徴とする。
【００３４】
本発明のさらに他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト装置において、（１）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応する学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（２）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（３）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（４）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、（ｉ）道路走行状況を示すテスト用原本イメージ、及び（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを使用して生成されたテスト用合成ラベルを獲得する通信部；及び（Ｉ）前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；を含むテスト装置を開示する。
【００３５】
一例として、前記通信部が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得し、前記（Ｉ）プロセスで、前記プロセスが、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
【００３６】
一例として、前記第１ＣＮＮモジュールは、前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
【００３７】
一例として、前記通信部が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、前記（Ｉ）プロセスで、前記プロセッサは、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
【００３８】
一例として、前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
【００３９】
一例として、複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
【発明の効果】
【００４０】
本発明によれば、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保し得る効果がある。
【００４１】
また、本発明によれば、敵対的生成ネットワーク（ＧＡＮ；  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）を利用することで、実際のイメージと類似度がより高い合成イメージを生成し、前記合成イメージにバウンディングボックス等の多様な情報が含まれるようにして、今後学習に活用されるデータセットを確保できる効果がある。
【図面の簡単な説明】
【００４２】
本発明の前記及び他の目的及び特徴は、次の添付図面とともに与えられた好ましい実施例の説明において明らかになるだろう。
【図１】図１は、本発明に係る学習装置のハードウェア構成を示した図面である。
【図２】図２は、本発明によって第１ＣＮＮモジュールが学習用イメージデータセットを生成する過程を示した図面である。
【図３】図３は、本発明によって前記第１ＣＮＮモジュールが第２ＣＮＮモジュールと敵対的（Ａｄｖｅｒｓａｒｉａｌ）に前記学習用データセットの生成方式を学習する過程を示した図面である。
【図４】図４は、本発明によって前記第１ＣＮＮモジュールがテスト装置として機能する時、前記第１ＣＮＮモジュール内部で入力値がどのように演算されるかを示した図面である。
【図５】図５は、本発明によって合成イメージでのバウンディングボックスに対する情報獲得過程の例を示した図面である。
【発明を実施するための形態】
【００４３】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４４】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得て、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４５】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【００４６】
図１は、本発明に係る学習装置の構成を示した図面である。
【００４７】
図１を参照すれば、前記学習装置１００は、第１ＣＮＮモジュール２００及び第２ＣＮＮモジュール３００を含み得る。前記第１ＣＮＮモジュール２００及び前記第２ＣＮＮモジュール３００の入出力、及び演算過程は、各々通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０及び前記プロセッサ１２０の具体的な連結関係を省略した。
【００４８】
図１の前記第１ＣＮＮモジュール２００をより具体的に説明するために、先に図４を参照して説明することにする。
【００４９】
図４を参照すれば、前記第１ＣＮＮモジュール２００は、エンコーディングレイヤ２１０、調整レイヤ２２０及びデコードレイヤ２３０などを含むことができる。
【００５０】
具体的に、前記エンコーディングレイヤ２１０は、原本イメージと合成ラベル（ｓｙｎｔｈｅｓｉｚｅｄ  ｌａｂｅｌ）に所定のコンボリューション演算を加えて特徴マップを生成するためのプロセスを遂行し、調整レイヤ２２０は、前記エンコーディングレイヤから最終的に出力された特定の特徴マップやランダムシード値を利用して調整された特徴マップを生成するプロセスを遂行し、デコーディングレイヤ２３０は、前記調整された特徴マップに所定のデコンボリューション演算を加えて合成イメージを生成するプロセスを遂行し得る。
【００５１】
前記エンコーディングレイヤで随行される前記コンボリューション演算について具体的に見てみると、前記エンコーディングレイヤ２１０は、前記特徴マップを生成するために前記原本イメージと前記合成ラベルとを獲得する。前記原本イメージや前記合成ラベルは各々３チャネル、１チャネルデータだが、前記エンコーディングレイヤ２１０は、これをチャネルワイズコンカチネーション（Ｃｈａｎｎｅｌ−ｗｉｓｅ  Ｃｏｎｃａｔｅｎａｔｉｏｎ）して生成された４チャネルデータに前記コンボリューション演算を加えることである。
【００５２】
一方、前記第２ＣＮＮモジュール３００は、前記第１ＣＮＮモジュール２００と類似して構成され得るので、詳しい説明は省略する。ただし、前記第２ＣＮＮモジュール３００が前記第１ＣＮＮモジュール２００と連動して本発明の特殊なプロセスを遂行することになるので、これについては以降に詳しく説明することにする。
【００５３】
前記学習装置１００がどのような方式で学習用データセットを生成するのかについても図２を参照して確認する。
【００５４】
図２は、前記第１ＣＮＮモジュールが本発明に係る学習用データセットを生成する過程を示した図面である。
【００５５】
図２を参照すれば、前記学習装置１００は、前記通信部１１０を通じて（ｉ）道路走行状況を示す前記原本イメージ、及び（ｉｉ）前記合成ラベルを獲得し得る。前記合成ラベルとは、前記原本イメージに対応する原本ラベル及び任意の特定の物体のイメージに対応する追加ラベルを利用して生成されたラベルを利用して生成される。
【００５６】
そして、前記原本イメージと、前記合成ラベルが前記学習装置１００に入力されると、前記学習装置１００は、前記第１ＣＮＮモジュール２００をもって前記原本イメージ及び前記合成ラベルを利用して前記合成イメージを生成するようにする。
【００５７】
前記合成イメージは、（ｉ）前記追加ラベルに対応する前記特定の物体のイメージを（ｉｉ）前記原本イメージに合成して生成される。具体的に図２を参照すれば、前記原本イメージ上に前記追加ラベルに対応するバスのイメージが合成されたことがわかる。前記合成イメージの生成は、前記プロセッサ１２０で遂行され得る。
【００５８】
例えば、図２のように（ｉ）道路を含む前記原本イメージと、（ｉｉ）前記道路を含む前記原本イメージに対応する前記原本ラベル及び（ｉｉｉ）大型バスに対応する前記追加ラベル（これ以外にも、道路に存在し得るが頻繁に見られない障害物、例えば、牛、キバノロ、落石などがそれに該当し得る）が獲得されると、前記大型バスに対応する前記追加ラベルを前記原本ラベルと合成して前記合成ラベルが生成され得る。それから、前記第１ＣＮＮモジュールが前記原本イメージ内の前記道路に前記大型バスが位置するように前記大型バスのイメージを前記原本イメージに合成して前記合成されたイメージを作り出すのだ。
【００５９】
ここで、前記合成ラベルは、前記学習装置１００が直接合成して獲得され得て、前記学習装置１００と連動される他の装置（未図示）が合成してから、これを前記学習装置１００に伝達してからも獲得し得る。前者の場合、前記学習装置１００が、前記原本ラベルと前記追加ラベルを入力として受け入れ得る。
【００６０】
一方、前記学習用データセットを生成するには、一般的に知られているイメージ合成技術が用いられるが、これは前記追加ラベルが前記合成ラベルに合成されると前記追加ラベルが前記合成ラベルに合成された位置に対応するように、前記原本イメージに前記追加ラベルに対応するイメージを合成し得る。
【００６１】
また、図２、図３、図４の前記合成ラベル及び前記合成イメージに表示された丸は、追加ラベル及びこれに対応するバスのイメージが各々前記合成ラベル及び前記合成イメージ上に合成されたことを強調するための図面上の印に過ぎず、前記合成ラベル及び前記合成イメージに丸自体が含まれているものではないことを明らかにしておく。
【００６２】
図２には、前記第１ＣＮＮモジュールがランダムシード値も獲得して前記合成イメージを生成すると示されているが、これは本発明の実施に必須的な要素ではない。ここで、「シード」とは、関数の入力の一つであるが、シード値が一定であれば、関数の出力値のうち少なくとも一部の特性が一定になる。前記ランダムシード値は、変化し続ける乱数として、前記関数の前記出力値の特性が多様に出るようにするために利用される。前記ランダムシード値がどのように使われるかについては、この後に具体的に説明することにする。
【００６３】
一方、前述したように前記合成イメージが生成された場合、前記原本イメージに前記追加ラベルに対応するイメージを合成した状態は、現実と乖離しかねないので、追加的な学習過程を経ることができる。これについては、図３を参照に説明する。
【００６４】
図３は、前記第１ＣＮＮモジュール及び前記第２ＣＮＮモジュールが連動して敵対的（Ａｄｖｅｒｓａｒｉａｌ）に学習する過程を示した図面である。
【００６５】
図３を参照すれば、前記学習装置１００は、前記第１ＣＮＮモジュール２００をもって前記合成イメージを出力し、前記第２ＣＮＮモジュール３００に伝達するようにして、前記第２ＣＮＮモジュールをもって前記合成イメージが偽のイメージか、あるいは実際のイメージかを判別した結果を示す第１出力値を算出するようにし、これとは別に、任意の実際のイメージを前記第２ＣＮＮモジュールに入力するようにして、前記任意の実際のイメージが偽のイメージか、あるいは実際のイメージなのかを判別した結果を示す第２出力値を算出するようにする。
【００６６】
そして前記学習装置１００は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出するようにし、前記第２出力値を第２原本正解値と比較して第２ロスを算出するようにして、前記第１及び前記第２ロス各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経て、バックプロパゲーションするようにすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習することになる。
【００６７】
これは、敵対的生成ネットワーク（ＧＡＮ；  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）技法を利用したもので、前記第１ＣＮＮモジュールがいわゆる生成者（Ｇｅｎｅｒａｔｏｒ）の役割をして、前記第２ＣＮＮモジュールがいわゆる判別者（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）の役割を果たすのである。具体的に、前記第１ＣＮＮモジュールは、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして区分するように騙す方向へ、つまり実際のイメージと類似して前記合成イメージを生成するように学習することになる。前記第２ＣＮＮモジュールは、前記合成イメージと、前記任意の実際のイメージ各々が、実際のイメージまたは偽のイメージの中どちらに該当するかを正確に区分する方向へ学習される。
【００６８】
このような過程が敵対的（Ａｄｖｅｒｓａｒｉａｌ）に行われると、前記第２ＣＮＮモジュールは、実際のイメージと合成イメージを区分できないようになり、結局この時点に到達すると学習が完了する。
【００６９】
ところが、このような方式で学習を進める場合、一定の特性を持つ合成イメージのみが導き出される危険がある。したがって、再び図２を参照すれば、先に述べたように、前記第１ＣＮＮモジュール２００が前記ランダムシード値を追加的に獲得して、前記学習装置１００は、前記第１ＣＮＮモジュール２００によって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して前記合成イメージを複数生成するようにし得る。
【００７０】
例えば、もし前記第１ＣＮＮモジュールが前記ランダムシード値を追加的に獲得しなかったり、一定のシード値を獲得したりする場合、前記第１ＣＮＮモジュールは、単に前記大型バスのイメージが合成された前記合成イメージを作り出すだけなので、学習に必要な様々なケースを反映することが難しくなり得る。このような短所を防ぐため、多様な値に変わり続ける前記ランダムシード値が追加的に入力され、前記バスのカラー、形状及び位置の少なくとも一つが異なる様々な前記合成イメージが生成され得るようになる。
【００７１】
一方、前記第１ＣＮＮ装置は、バウンディンボックスに対する情報も含めて前記合成イメージを生成し得る。以降、さらに詳しく説明するが、本発明の目的は、自律走行の際のＣＮＮのパラメータを学習するための多様なイメージセットを作ることであるので、前記バウンディンボックスに対する情報を含む前記合成イメージが生成されれば、前記第１ＣＮＮモジュールは、前記バウンディンボックスに対する情報を利用してさらに容易にＣＮＮの前記パラメータを学習し得るだろう。これに対する説明は、後から具体的に説明することにする。
【００７２】
次に、図４は、前記第１ＣＮＮモジュールがテスト装置として機能する際、入力値に多様な演算を加える過程を示す。
【００７３】
図４を参照すれば、前記テスト装置は、前記第１ＣＮＮモジュール２００を含み得り、先に説明したように、前記第１ＣＮＮモジュール２００は、前記エンコーディングレイヤ２１０、前記調整レイヤ２２０、及び前記デコードレイヤ２３０を含み得る。これは図３で提示された前記学習装置で学習が完了した後、前記第２ＣＮＮモジュールが除去された構造と同じである。
【００７４】
このような構造を有する前記テスト装置は、前記ランダムシード値を変化させることで、様々な特性を有する前記合成イメージを生成し得るだろう。すなわち、このような一つ以上の各合成イメージは、前記学習用データセットに追加され、物体検出（ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ）やセマンティック・セグメンテーション（ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ）などを学習するために利用され得る。一方、前記学習装置の例示のように、前記テスト装置でも前記ランダムシード値が必須ではないだろう。
【００７５】
また、前述したように、前記テスト装置は、自律走行装置内のＣＮＮの学習過程に役立つように前記バウンディングボックスに対する情報を含む前記合成イメージを生成し得る。
【００７６】
図２を参照してみると、前記第１ＣＮＮモジュール２００が前記原本イメージ及び前記合成ラベルを獲得する際、前記原本イメージに含まれた少なくとも一つの物体に対応する一つ以上の第１バウンディンボックスに対する情報及び前記特定の物体に対応する第２バウンディンボックスに対する情報を獲得する。以降、前記第１ＣＮＮモジュール２００が、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成することになる。
【００７７】
前記第２バウンディンボックスは、いくつかの方式で生成され得るが、特に、少なくとも最小軸平行長方形（Ｍｉｎｉｍｕｍ  Ａｘｉｓ−ｐａｒａｌｌｅｌ  Ｒｅｃｔａｎｇｌｅ）方式を利用して生成され得る。前記最小軸平行長方形方式とは、ターゲット物体のすべての点が含まれる、軸と平行した辺を持つ最小面積の長方形をイメージ上に生成することでバウンディングボックスを生成する方式を指す。
【００７８】
前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一つ、またはこれをもとにサイズや位置などを微細に変更したボックスを含むものを言う。この過程は、図５を参照すればより具体的に理解し得るだろう。
【００７９】
図５は、本発明によって合成イメージでのバウンディングボックスに対する情報獲得過程の例を示した図面である。
【００８０】
図５を参照すれば、前記合成イメージ上に、前記原本イメージに存在していたバウンディンボックスだけでなく、前記追加ラベルに対応する前記大型バスのバウンディンボックスが追加されて存在していることがわかる。
【００８１】
先に述べたように、このような前記バウンディングボックスに対する情報は、今後自律走行装置の学習に役立つが、特に前記物体検出のための学習に役立つ。物体を検出する際、一般的にこれに対応するバウンディングボックスが生成される必要があるが、本発明の一実施例によれば、前記バウンディングボックスを生成する時間を相当短縮し得るのである。
【００８２】
また、前記追加ラベルは、様々な方式で生成され得るが、複数のデータセットの中から前記特定の物体の種類が選択されれば、前記追加ラベルは、前記特定の物体の前記選択された種類に対応する複数のマスクをサンプリングすることによっても生成され得るだろう。
【００８３】
例えば、学習しようとする物体の種類としてキバノロが選択されれば、獲得済みのキバノロのマスクのうちの一部のマスクが利用され、キバノロのイメージに対応するラベルが生成されるだろう。
【００８４】
前記方法により、前記合成イメージ及び前記合成ラベルが生成されれば、これを物体検出及びイメージセグメンテーションのうち少なくとも一つの学習のための学習用データセットを含むデータベースに追加し得るだろう。
【００８５】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得て、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００８６】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記のハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得て、その逆も同様である。
【００８７】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００８８】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020038667.tif 000003
【図２】
2020038667.tif 000004
【図３】
2020038667.tif 000005
【図４】
2020038667.tif 000006
【図５】
2020038667.tif 000007