(57)【要約】      （修正有）【課題】遠くに見える車線及び道路標識のようなぼやけた物体を、より正確に検出する自律走行自動車のレベル４を満たすために要求されるＨＤマップをアップデートするために利用される、少なくとも一つのアダプティブロス重み付け値を利用したアテンションドリブンイメージセグメンテーション方法を提供する。【解決手段】ＣＮＮを含む学習装置において、学習過程は、ソフトマックスレイヤをもって、ソフトマックススコアを生成するようにする段階と、ロス加重値レイヤをもって、予測エラー値を生成させ、これにロス重み付け値演算を適用してロス重み付け値を生成するようにさせる段階及び、ソフトマックスロスレイヤをもって、ソフトマックススコア及びそれに対応するＧＴを参照して生成された初期ソフトマックスロス値と、記ロス重み付け値とを参照して調整ソフトマックスロス値を生成させる段階と、を含む。【選択図】図２
2020119533.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのアダプティブロス（Ａｄａｐｔｉｖｅ）重み付け値マップを利用したイメージセグメンテーション方法において、
（ａ）少なくとも一つの入力イメージが取得されると、学習装置が、（ｉ）ＣＮＮのエンコード（Ｅｎｃｏｄｉｎｇ）レイヤをもって、前記入力イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディング（Ｄｅｃｏｄｉｎｇ）レイヤをもって、前記特徴マップに一つ以上のデコンボリューション演算を適用して、前記入力イメージの各ピクセルに対応するそれぞれのセグメンテーションスコアを生成するようにする段階；
（ｂ）前記学習装置が、前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記セグメンテーションスコアにソフトマックス演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのソフトマックススコアを生成するようにする段階；
（ｃ）前記学習装置が、前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記ソフトマックススコア及びこれに対応するＧＴ（Ｇｒｏｕｎｄ
Ｔｒｕｔｈ）値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラーの差異よりも大きくなるようにする段階；及び
（ｄ）前記学習装置が、（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記ソフトマックススコア及びこれに対応するＧＴ値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮのパラメータを学習する段階；
を含むことを特徴とする学習方法。
【請求項２】
前記（ｃ）段階において、
前記ロス重み付け値演算は次の数式に従い、
【数１４】
2020119533.tif 000016
ここでａｉは、前記ピクセルの中でｉ番目のピクセルに対応するスケールパラメータ、Ｅｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応する前記予測エラー値、βｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応するバイアスパラメータを意味し、ｉは、１以上ｓ以下の定数であり、ｓは、前記入力イメージ内に含まれた前記ピクセルの数を意味することを特徴とする請求項１に記載の学習方法。
【請求項３】
前記（ｄ）段階において、
前記学習装置が、前記ＣＮＮの前記ソフトマックスロスレイヤをもって、それぞれの前記ロス重み付け値をこれに対応する前記初期ソフトマックスロス値に掛けてそれぞれの前記調整ソフトマックスロス値を生成するようにすることを特徴とする請求項１に記載の学習方法。
【請求項４】
前記（ｄ）段階において、
前記初期ソフトマックスロス値が次の数式に従って生成され、
【数１５】
2020119533.tif 000017
Ｓは、前記入力イメージ内に含まれる前記ピクセルの個数、
【数１６】
2020119533.tif 000018
は、ｉ番目のピクセルがこれに対応するＧＴ値の上でどのクラスタに属するかを示すワンホットエンコーディング（Ｏｎｅ−Ｈｏｔ  Ｅｎｃｏｄｉｎｇ）ベクトル、そしてＰ（ｉ）は、前記ｉ番目のピクセルのソフトマックススコアに対応するベクトルを意味することを特徴とする請求項１に記載の学習方法。
【請求項５】
前記入力イメージは、道路走行状況を示す情報を含み、
前記学習装置は、前記ロス重み付け値レイヤが前記入力イメージの少なくとも一つの車線部分に対応する第１ロス重み付け値を割り当て、前記入力イメージの背景部分に対応する第２ロス重み付け値を前記第１ロス重み付け値より小さい値に割り当てて、それぞれの前記ロス重み付け値を決定した状態で、それぞれの前記ロス重み付け値と、それに対応する前記初期ソフトマックスロス値とを参照して生成される前記調整ソフトマックスロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習することを特徴とする請求項１に記載の学習方法。
【請求項６】
少なくとも一つのアダプティブロス重み付け値マップを利用したイメージセグメンテーションテスティング方法において、
（ａ）（Ｉ）少なくとも一つのトレーニングイメージが取得されると、学習装置が、（ｉ）ＣＮＮのエンコーディングレイヤをもって、前記トレーニングイメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの学習用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディングレイヤをもって、前記学習用特徴マップに一つ以上のデコンボリューション演算を適用して前記トレーニングイメージの各ピクセルに対応するそれぞれの学習用セグメンテーションスコアを生成するようにし、（ＩＩ）前記学習装置が、前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記学習用セグメンテーションスコアにソフトマックス演算を適用して前記トレーニングイメージの各々の前記ピクセルに対応するそれぞれの学習用ソフトマックススコアを生成するようにし、（ＩＩＩ）前記学習装置が、前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記学習用ソフトマックススコア及びこれに対応するＧＴ（Ｇｒｏｕｎｄ
Ｔｒｕｔｈ）値を参照して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラー値間の差よりも大きくなるようにし、（ＩＶ）前記学習装置が、（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮのパラメータを学習した状態で、少なくとも一つのテストイメージが取得されると、テスティング装置が、（ｉ）前記ＣＮＮのエンコーディングレイヤをもって、前記テストイメージに一つ以上のコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮの前記デコーディングレイヤをもって、前記テスト用特徴マップに前記デコンボリューション演算を適用して、前記テストイメージの各ピクセルに対応するそれぞれのテスト用セグメンテーションスコアを生成する段階；及び
（ｂ）前記テスティング装置が、前記ＣＮＮの前記ソフトマックスレイヤをもって、それぞれの前記テスト用セグメンテーションスコアに前記ソフトマックス演算を適用して前記テストイメージの各々の前記ピクセルに対応するそれぞれのテスト用ソフトマックススコアを生成するようにする段階；
を含むことを特徴とするテスティング方法。
【請求項７】
少なくとも一つのアダプティブロス重み付け値マップを利用したイメージセグメンテーション学習装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）（ｉ）ＣＮＮのエンコーディングレイヤをもって、前記入力イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディングレイヤをもって、前記特徴マップに一つ以上のデコンボリューション演算を適用して前記入力イメージの各ピクセルに対応するそれぞれのセグメンテーションスコアを生成するようにするプロセス、（ＩＩ）前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記セグメンテーションスコアにソフトマックス演算を適用して前記入力イメージの各々の前記ピクセルに対応するそれぞれのソフトマックススコアを生成するようにするプロセス、（ＩＩＩ）前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記ソフトマックススコア及びこれに対応するＧＴ値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラー値間の差よりも大きくなるようにするプロセス、及び（ＩＶ）（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記ソフトマックススコア及びこれに対応するＧＴ値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮのパラメータを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項８】
前記（ＩＩＩ）プロセスで、
前記ロス重み付け値演算は次の数式に従い、
【数１７】
2020119533.tif 000019
ここでａｉは、前記ピクセルの中でｉ番目のピクセルに対応するスケールパラメータ、Ｅｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応する前記予測エラー値、Ｅｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応するバイアスパラメータを意味し、ｉは、１以上ｓ以下の定数であり、ｓは、前記入力イメージ内に含まれた前記ピクセルの数を意味することを特徴とする請求項７に記載の学習装置。
【請求項９】
前記（ＩＶ）プロセスで、
前記プロセッサが、前記ＣＮＮの前記ソフトマックスロスレイヤをもって、それぞれの前記ロス重み付け値をこれに対応する前記初期ソフトマックスロス値に掛けてそれぞれの前記調整ソフトマックスロス値を生成するようにすることを特徴とする請求項７に記載の学習方法。
【請求項１０】
前記（ＩＶ）プロセスで、
前記初期ソフトマックスロス値が次の数式に従って生成され、
【数１８】
2020119533.tif 000020
Ｓは、前記入力イメージ内に含まれる前記ピクセルの個数、
【数１９】
2020119533.tif 000021
は、ｉ番目のピクセルがこれに対応するＧＴ値の上でどのクラスタに属するかを示すワンホットエンコーディング（Ｏｎｅ−Ｈｏｔ  Ｅｎｃｏｄｉｎｇ）ベクトル、そしてＰ（ｉ）は、前記ｉ番目のピクセルのソフトマックススコアに対応するベクトルを意味することを特徴とする請求項７に記載の学習装置。
【請求項１１】
前記入力イメージは、道路走行状況を示す情報を含み、
前記プロセッサは、前記ロス重み付け値レイヤが前記入力イメージの少なくとも一つの車線部分に対応する第１ロス重み付け値を割り当て、前記入力イメージの背景部分に対応する第２ロス重み付け値を前記第１ロス重み付け値より小さい値に割り当てて、それぞれの前記ロス重み付け値を決定した状態で、それぞれの前記ロス重み付け値と、それに対応する前記初期ソフトマックスロス値とを参照して生成される前記調整ソフトマックスロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習することを特徴とする請求項７に記載の学習装置。
【請求項１２】
少なくとも一つのアダプティブロス重み付け値マップを利用したイメージセグメンテーションテスティング装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）学習装置が、少なくとも一つのトレーニングイメージが取得されると、（ｉ）ＣＮＮのエンコーディングレイヤをもって、前記トレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの学習用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディングレイヤをもって、前記学習用特徴マップに一つ以上のデコンボリューション演算を適用して前記トレーニングイメージの各ピクセルに対応するそれぞれの学習用セグメンテーションスコアを生成するようにし、（ＩＩ）前記学習装置が、前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記学習用セグメンテーションスコアにソフトマックス演算を適用して前記トレーニングイメージの各々の前記ピクセルに対応するそれぞれの学習用ソフトマックススコアを生成するようにし、（ＩＩＩ）前記学習装置が、前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラー値間の差よりも大きくなるようにし、（ＩＶ）前記学習装置が、（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーションして前記ＣＮＮのパラメータを学習した状態で、（Ａ）（ｉ）前記ＣＮＮのエンコーディングレイヤをもって、少なくとも一つのテストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮの前記デコーディングレイヤをもって、前記テスト用特徴マップに前記デコンボリューション演算を適用して、前記テストイメージの各ピクセルに対応するそれぞれのテスト用セグメンテーションスコアを生成するプロセス及び（Ｂ）前記ＣＮＮの前記ソフトマックスレイヤをもって、それぞれの前記テスト用セグメンテーションスコアに前記ソフトマックス演算を適用して、前記テストイメージの各々の前記ピクセルに対応するそれぞれのテスト用ソフトマックススコアを生成するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行自動車のレベル４を満たすために要求されるＨＤマップアップデートに利用される、少なくとも一つのアダプティブ（Ａｄａｐｔｉｖｅ）ロス重み付け値マップを利用したアテンションドリブン（Ａｔｔｅｎｔｉｏｎ−Ｄｒｉｖｅｎ）イメージセグメンテーション学習方法に関し；より詳細には、（ａ）少なくとも一つの入力イメージが取得されると、（ｉ）ＣＮＮのエンコード（Ｅｎｃｏｄｉｎｇ）レイヤをもって、前記入力イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディング（Ｄｅｃｏｄｉｎｇ）レイヤをもって、前記特徴マップに一つ以上のデコンボリューション演算を適用して、前記入力イメージの各ピクセルに対応するそれぞれのセグメンテーションスコアを生成するようにする段階；（ｂ）前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記セグメンテーションスコアにソフトマックス演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのソフトマックススコアを生成するようにする段階；（ｃ）前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記ソフトマックススコア及びこれに対応するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラーの差異よりも大きくなるようにする段階；及び（ｄ）（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記ソフトマックススコア及びこれに対応するＧＴ値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮのパラメータを学習する段階；を含む学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置に関する。
【背景技術】
【０００２】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
一方、イメージセグメンテーション（Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージ（トレーニングイメージあるいはテストイメージ）を受けて、出力でラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープランニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）技術が脚光を浴びて、セグマンテーションでもディープラーニングが多く使われる傾向にある。
【０００４】
イメージセグメンテーションのためのＣＮＮのパラメータを学習する際、基本的にイメージ内のすべての領域は同じ重み付け値で学習される。しかし、イメージ内に少なくとも一つの重要領域に対応する少なくとも一つの特定面積が少ない場合、前記重要領域内に含まれるピクセル数も少ない。従って、前記重要領域に対応するエラーは、ロスに比較的少ない比重で反映され、前記重要領域に対してはあまり学習されないという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、前述した問題点を解決することを目的とする。
本発明は、イメージ内の重要領域が少ない数のピクセルを有しても、重要領域に大きな重み付け値を割り当てて、重要領域に対して最適のセグマンテーションスコアを生成するための方法を提供することを他の目的とする。
【課題を解決するための手段】
【０００６】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【０００７】
本発明の一態様によれば、少なくとも一つのアダプティブロス（Ａｄａｐｔｉｖｅ）重み付け値マップを利用したイメージセグメンテーション方法において、（ａ）少なくとも一つの入力イメージが取得されると、学習装置が、（ｉ）ＣＮＮのエンコード（Ｅｎｃｏｄｉｎｇ）レイヤをもって、前記入力イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディング（Ｄｅｃｏｄｉｎｇ）レイヤをもって、前記特徴マップに一つ以上のデコンボリューション演算を適用して、前記入力イメージの各ピクセルに対応するそれぞれのセグメンテーションスコアを生成するようにする段階；（ｂ）前記学習装置が、前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記セグメンテーションスコアにソフトマックス演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのソフトマックススコアを生成するようにする段階；（ｃ）前記学習装置が、前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記ソフトマックススコア及びこれに対応するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラーの差異よりも大きくなるようにする段階；及び（ｄ）前記学習装置が、（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記ソフトマックススコア及びこれに対応するＧＴ値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮのパラメータを学習する段階；を含むことを特徴とする学習方法が提供される。
【０００８】
一例として、前記（ｃ）段階において、前記ロス重み付け値演算は次の数式に従い、
【０００９】
【数１】
2020119533.tif 000003
ここでａｉは、前記ピクセルの中でｉ番目のピクセルに対応するスケールパラメータ、Ｅｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応する前記予測エラー値、βｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応するバイアスパラメータを意味し、ｉは、１以上ｓ以下の定数であり、ｓは、前記入力イメージ内に含まれた前記ピクセルの数を意味する。
【００１０】
一例として、前記（ｄ）段階において、前記学習装置が、前記ＣＮＮの前記ソフトマックスロスレイヤをもって、それぞれの前記ロス重み付け値をこれに対応する前記初期ソフトマックスロス値に掛けてそれぞれの前記調整ソフトマックスロス値を生成するようにする。
【００１１】
一例として、前記（ｄ）段階において、前記初期ソフトマックスロス値が次の数式に従って生成され、
【００１２】
【数２】
2020119533.tif 000004
Ｓは、前記入力イメージ内に含まれる前記ピクセルの個数、
【００１３】
【数３】
2020119533.tif 000005
は、ｉ番目のピクセルがこれに対応するＧＴ値の上でどのクラスタに属するかを示すワンホットエンコーディング（Ｏｎｅ−Ｈｏｔ  Ｅｎｃｏｄｉｎｇ）ベクトル、そしてＰ（ｉ）は、前記ｉ番目のピクセルのソフトマックススコアに対応するベクトルを意味する。
【００１４】
一例として、前記入力イメージは、道路走行状況を示す情報を含み、前記学習装置は、前記ロス重み付け値レイヤが前記入力イメージの少なくとも一つの車線部分に対応する第１ロス重み付け値を割り当て、前記入力イメージの背景部分に対応する第２ロス重み付け値を前記第１ロス重み付け値より小さい値に割り当てて、それぞれの前記ロス重み付け値を決定した状態で、それぞれの前記ロス重み付け値と、それに対応する前記初期ソフトマックスロス値とを参照して生成される前記調整ソフトマックスロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習する。
【００１５】
本発明の他の態様によれば、少なくとも一つのアダプティブロス重み付け値マップを利用したイメージセグメンテーションテスティング方法において、（ａ）（Ｉ）少なくとも一つのトレーニングイメージが取得されると、学習装置が、（ｉ）ＣＮＮのエンコーディングレイヤをもって、前記トレーニングイメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの学習用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディングレイヤをもって、前記学習用特徴マップに一つ以上のデコンボリューション演算を適用して前記トレーニングイメージの各ピクセルに対応するそれぞれの学習用セグメンテーションスコアを生成するようにし、（ＩＩ）前記学習装置が、前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記学習用セグメンテーションスコアにソフトマックス演算を適用して前記トレーニングイメージの各々の前記ピクセルに対応するそれぞれの学習用ソフトマックススコアを生成するようにし、（ＩＩＩ）前記学習装置が、前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記学習用ソフトマックススコア及びこれに対応するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）値を参照して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラー値間の差よりも大きくなるようにし、（ＩＶ）前記学習装置が、（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮのパラメータを学習した状態で、少なくとも一つのテストイメージが取得されると、テスティング装置が、（ｉ）前記ＣＮＮのエンコーディングレイヤをもって、前記テストイメージに一つ以上のコンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮの前記デコーディングレイヤをもって、前記テスト用特徴マップに前記デコンボリューション演算を適用して、前記テストイメージの各ピクセルに対応するそれぞれのテスト用セグメンテーションスコアを生成する段階；及び（ｂ）前記テスティング装置が、前記ＣＮＮの前記ソフトマックスレイヤをもって、それぞれの前記テスト用セグメンテーションスコアに前記ソフトマックス演算を適用して前記テストイメージの各々の前記ピクセルに対応するそれぞれのテスト用ソフトマックススコアを生成するようにする段階；を含むこ���を特徴とするテスティング方法が提供される。
【００１６】
本発明のまた他の態様によれば、少なくとも一つのアダプティブロス重み付け値マップを利用したイメージセグメンテーション学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（ｉ）ＣＮＮのエンコーディングレイヤをもって、前記入力イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディングレイヤをもって、前記特徴マップに一つ以上のデコンボリューション演算を適用して前記入力イメージの各ピクセルに対応するそれぞれのセグメンテーションスコアを生成するようにするプロセス、（ＩＩ）前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記セグメンテーションスコアにソフトマックス演算を適用して前記入力イメージの各々の前記ピクセルに対応するそれぞれのソフトマックススコアを生成するようにするプロセス、（ＩＩＩ）前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記ソフトマックススコア及びこれに対応するＧＴ値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラー値間の差よりも大きくなるようにするプロセス、及び（ＩＶ）（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記ソフトマックススコア及びこれに対応するＧＴ値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮのパラメータを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が提供される。
【００１７】
一例として、前記（ＩＩＩ）プロセスで、前記ロス重み付け値演算は次の数式に従い、
【００１８】
【数４】
2020119533.tif 000006
ここでａｉは、前記ピクセルの中でｉ番目のピクセルに対応するスケールパラメータ、Ｅｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応する前記予測エラー値、Ｅｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応するバイアスパラメータを意味し、ｉは、１以上ｓ以下の定数であり、ｓは、前記入力イメージ内に含まれた前記ピクセルの数を意味する。
【００１９】
一例として、前記（ＩＶ）プロセスで、前記プロセッサが、前記ＣＮＮの前記ソフトマックスロスレイヤをもって、それぞれの前記ロス重み付け値をこれに対応する前記初期ソフトマックスロス値に掛けてそれぞれの前記調整ソフトマックスロス値を生成するようにする。
【００２０】
一例として、前記（ＩＶ）プロセスで、前記初期ソフトマックスロス値が次の数式に従って生成され、
【００２１】
【数５】
2020119533.tif 000007
Ｓは、前記入力イメージ内に含まれる前記ピクセルの個数、
【００２２】
【数６】
2020119533.tif 000008
は、ｉ番目のピクセルがこれに対応するＧＴ値の上でどのクラスタに属するかを示すワンホットエンコーディング（Ｏｎｅ−Ｈｏｔ  Ｅｎｃｏｄｉｎｇ）ベクトル、そしてＰ（ｉ）は、前記ｉ番目のピクセルのソフトマックススコアに対応するベクトルを意味する。
【００２３】
一例として、前記入力イメージは、道路走行状況を示す情報を含み、前記プロセッサは、前記ロス重み付け値レイヤが前記入力イメージの少なくとも一つの車線部分に対応する第１ロス重み付け値を割り当て、前記入力イメージの背景部分に対応する第２ロス重み付け値を前記第１ロス重み付け値より小さい値に割り当てて、それぞれの前記ロス重み付け値を決定した状態で、それぞれの前記ロス重み付け値と、それに対応する前記初期ソフトマックスロス値とを参照して生成される前記調整ソフトマックスロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習する。
【００２４】
本発明のまた他の態様によれば、少なくとも一つのアダプティブロス重み付け値マップを利用したイメージセグメンテーションテスティング装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）学習装置が、少なくとも一つのトレーニングイメージが取得されると、（ｉ）ＣＮＮのエンコーディングレイヤをもって、前記トレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの学習用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮのデコーディングレイヤをもって、前記学習用特徴マップに一つ以上のデコンボリューション演算を適用して前記トレーニングイメージの各ピクセルに対応するそれぞれの学習用セグメンテーションスコアを生成するようにし、（ＩＩ）前記学習装置が、前記ＣＮＮのソフトマックスレイヤをもって、それぞれの前記学習用セグメンテーションスコアにソフトマックス演算を適用して前記トレーニングイメージの各々の前記ピクセルに対応するそれぞれの学習用ソフトマックススコアを生成するようにし、（ＩＩＩ）前記学習装置が、前記ＣＮＮのロス重み付け値レイヤをもって（ｉ）前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値にロス重み付け値演算を適用して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラー値間の差よりも大きくなるようにし、（ＩＶ）前記学習装置が、（ｉ）前記ＣＮＮのソフトマックスロスレイヤをもって（１）それぞれの前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーションして前記ＣＮＮのパラメータを学習した状態で、（Ａ）（ｉ）前記ＣＮＮのエンコーディングレイヤをもって、少なくとも一つのテストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮの前記デコーディングレイヤをもって、前記テスト用特徴マップに前記デコンボリューション演算を適用して、前記テストイメージの各ピクセルに対応するそれぞれのテスト用セグメンテーションスコアを生成するプロセス及び（Ｂ）前記ＣＮＮの前記ソフトマックスレイヤをもって、それぞれの前記テスト用セグメンテーションスコアに前記ソフトマックス演算を適用して、前記テストイメージの各々の前記ピクセルに対応するそれぞれのテスト用ソフトマックススコアを生成するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が提供される。
【発明の効果】
【００２５】
本発明によれば、自律走行の状況で、車線を識別しなくてはならない場合など、イメージ上でピクセル数が少なくても活用上で重要な部分に対して、最適化されたセグメンテーション結果が得られる効果がある。
【図面の簡単な説明】
【００２６】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】本発明に係る学習装置の構成を表した図面である。
【図２】本発明に係るＣＮＮの構成及びこれを利用した学習プロセスを示した図面である。
【図３】ピクセル数が少ない重要領域を含むイメージを示した図面である。
【図４】図３において示された入力イメージのセグメンテーション結果を示した図面である。
【発明を実施するための形態】
【００２７】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００２８】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００２９】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３０】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００３１】
図１は、本発明に係る学習装置の構成を表した図面である。図１を参照すれば、学習装置１００は、ＣＮＮ２００を含み得る。前記ＣＮＮ２００の多様なデータの入出力過程及び演算過程は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０及び前記プロセッサ１２０の具体的な連結関係を省略した。また、前記学習装置１００は、後述するプロセスを遂行するためのコンピュータ読み取り可能なインストラクション（ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｉｎｓｔｒｕｃｔｉｏｎ）を格納し得るメモリ１１５を追加的に含み得る。一例として、前記プロセッサ、前記メモリ、及び媒体（ｍｅｄｉｕｍ）等は、一つのプロセッサに統合されて機能することもできる。
【００３２】
図２は、本発明の一例に係る前記ＣＮＮの構成及びこれを利用した学習過程を示した図面である。図２を参照すれば、前記ＣＮＮ２００は、エンコーディングレイヤ２１０、デコーディングレイヤ２２０、ソフトマックスレイヤ２３０、ロス重み付け値レイヤ２４０及びソフトマックスレイヤ２５０を含み得る。
【００３３】
具体的に、少なくとも一つの入力イメージが前記通信部１１０によって取得されると、前記学習装置１００は、前記エンコーディングレイヤ２１０をもって、前記入力のイメージに一つ以上のコンボリューション演算を適用して、少なくとも一つのエンコード済み特徴マップを生成するようにし、前記デコーディンググレイヤ２２０をもって前記エンコーディングレイヤ２１０から出力された前記エンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して、前記入力イメージの各ピクセルに対応するそれぞれのセグメンテーションスコアを生成するようにする。ここで、前記エンコーディングレイヤ２１０から出力された前記エンコード済み特徴マップは、全ての前記特徴マップの中で、前記エンコーディングレイヤ２１０から最終的に出力された特徴マップであり得るが、これに限定されるわけではない。
【００３４】
前記ソフトマックスレイヤ２３０は、前記セグメンテーションスコアを正規化して、これに対応するソフトマックススコアそれぞれが０から１までの確率を有する状態で出力されるようにするソフトマックス演算を前記セグメンテーションスコアに適用してソフトマックススコアを生成し得る。この際、前記セグメンテーションスコアは、前記デコーディングレイヤ２２０から最終的に出力されたデコード済み特徴マップに対応するセグメンテーションスコアである得るが、これに限定されるわけではない。
【００３５】
そして、前記ロス重み付け値レイヤ２４０は、前記ソフトマックススコア及びこれに対応するＧＴ値を参照して予測エラー値を生成し、前記予測エラー値にロス重み付け値演算を適用して重み付け値を生成し得る。前記ロス重み付け値演算は、後から図３と図４とを参照して説明する。
【００３６】
前記ソフトマックスロスレイヤ２５０は、前記ソフトマックススコア及びこれに対応するＧＴ値を参照して初期ソフトマックスロス値を生成し、前記初期ソフトマックスロス値及び前記ロス重み付け値を参照して調整ソフトマックスロス値を生成することができる。その後、前記学習装置１００は、前記調整ソフトマックスロス値をバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮ２００のパラメータを学習する。
【００３７】
以上、本発明に係る前記ＣＮＮ２００の構成及び概括的な学習過程を調べたところで、本発明の具体的な学習過程に関して説明することにする。
【００３８】
前記エンコーディングレイヤ２１０と、前記デコーディングレイヤ２２０と、前記ソフトマックスレイヤ２３０とで行われる演算は先に説明したので、予測エラー値を生成するプロセスを説明する。
【００３９】
前記ロス重み付け値レイヤ２４０において、前記予測エラー値を生成するプロセスを説明するために、図３及び図４を参照することにする。
【００４０】
図３は、ピクセル数が少ない重要領域を含むイメージを示した図面である。図３を参照すれば、図３のイメージが、自律走行状況での車線を検出するＣＮＮを学習するために利用される際に、自律走行状況で重要な部分である車線部分の面積は、前記イメージの上段に位置する空の部分、前記イメージの右側に位置する丘の部分、及び前記イメージの中心に位置している、前記車線部分を除いた路面に比べて小さいことが分かる。これは、前記の重要な領域、すなわち、前記車線部分内のピクセル数が少ないため、最適化されていないセグメンテーション結果をもたらす。図４は、このような最適化されていないセグメンテーション結果を表す。
【００４１】
図４は、図３において示された前記入力イメージが前記エンコーディングレイヤ２１０、前記デコーディンググレイヤ２２０、及び前記ソフトマックスレイヤ２３０を経て取得されたセグメンテーション結果を見せる。
【００４２】
図４を参照すれば、前記イメージの上段に位置した空の部分及び前記イメージの右側に位置した丘の部分内にピクセル数が多いため、前記ＣＮＮ２００が空の部分及び丘の部分を正確に識別し得る。従って、図４に示されたように、前記空の部分及び前記丘の部分に割り当てられた確率値は、１に近接する。しかし、前記自律走行状況での前記重要領域である前記車線部分内のピクセル数が少ないため、前記ＣＮＮ２００が前記車線部分を正確に識別できないことがある。図４に示されたように、０．８２、０．７６、０．８４など相対的に低い確率値が前記車線部分に割り当てられ得る。
【００４３】
図４に示されているように、前記ソフトマックススコアが生成された後、前記ロス重み付け値レイヤ２４０は、前記ソフトマックススコア及びこれに対応するＧＴ値を参照して前記予測エラー値を生成する。具体的に、前記ロス重み付け値レイヤ２４０は、前記入力イメージの各ピクセルに対応するそれぞれの前記ソフトマックススコアと、これに対応しながら前記ＧＴ値に対応するＧＴベクトルとの間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ  Ｄｉｓｔａｎｃｅ）とを利用して前記予測エラー値を生成する。
【００４４】
例えば、図４を参照すれば、左車線上の特定のピクセルに対応する特定ソフトマックススコアは（０．１，０．８２，０．０８，０，０）であり、これに対応するＧＴベクトルは（０，１，０，０，０）であるため、前記特定ピクセルの特定予測エラー値は、
【００４５】
【数７】
2020119533.tif 000009
で計算される。
【００４６】
このような方式により、前記入力イメージの各ピクセルに対応するそれぞれの前記予測エラー値が生成される。ここで、前記背景部分（例えば、図３に示された前記丘の部分、前記空の部分、及び前記車線部分を除いた道路面）内に含まれたピクセル数が前記車線内に含まれたピクセル数より多いため前記背景部分が前記ＣＮＮ２００によってさらに正確に予測されるので、前記背景部分内に含まれたピクセルに対応する予測エラー値がより小さく導出されることは自明である。
【００４７】
前記ＣＮＮ２００が前記ロス重み付け値レイヤ２４０をもって、前記予測エラー値を生成するようにした後、前記ＣＮＮ２００は、再度前記ロス重み付け値レイヤ２４０をもって、前記予測エラー値に前記ロス重み付け値演算を適用して、前記ロス重み付け値を生成するようにする。この際、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の違いがそれぞれの前記予測エラー値間の差よりも大きくなるようにする。このような特徴は、前記重要領域内のピクセル数が少なくても、前記重要領域のエラー値をさらに大きな重み付け値として前記重要領域の前記ロスに反映するためのものである。これについての具体的な過程は後に説明することにする。
【００４８】
前記ロス重み付け値を生成する方法の例示として、前記ロス重み付け値演算は次のような数式に従い得る。
【００４９】
【数８】
2020119533.tif 000010
ここでａｉは、前記ピクセルの中でｉ番目のピクセルに対応するスケールパラメータ、Ｅｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応する前記予測エラー値、βｉは、前記ピクセルの中で前記ｉ番目のピクセルに対応するバイアスパラメータを意味し、ｉは１以上ｓ以下の定数で、ｓは、前記入力イメージ内に含まれた前記ピクセルの数を意味する。ａｉは１より大きいため、前述した前記ロス重み付け値演算の特徴がよく現れ得る。
【００５０】
一方、前述の特徴と関連のある部分はスケールパラメータａｉだけであるが、バイアスパラメータＢｉが、前記数式内に含まれる理由は、前記背景部分に対応する前記予測エラー値が０に近く、前記背景部分に対応する前記ロス重み付け値が０に近い値が出るようになり、後に説明する前記調整ソフトマックスロス値に歪みを起こしかねないからである。
【００５１】
前記ロス重み付け値は、前記ソフトマックスロスレイヤ２５０に伝達される。その後、前記ソフトマックスロスレイヤ２５０は、前記ロス重み付け値及び前記初期ソフトマックスロス値を参照して前記調整ソフトマックスロス値を生成する。前記初期ソフトマックスロス値を生成するプロセスについての説明は次の通りである。
【００５２】
まず、前記ＣＮＮ２００は、前記ソフトマックスロスレイヤ２５０をもって、前記ソフトマックスレイヤ２３０から出力された前記ソフトマックススコアを取得するようにする。その後、前記ソフトマックスロスレイヤ２５０は、前記ソフトマックススコア及びこれに対応するＧＴ値を参照して前記初期ソフトマックスロス値を生成する。前記初期ソフトマックスロスが生成される際に参照する値は、前記ロス重み付け値が生成される際に参照する値と同一であるが、次で見られるように、前記二つの生成プロセスは相違する。
【００５３】
【数９】
2020119533.tif 000011
前記初期ソフトマックスロス値は、前記数式に従って生成され、
【００５４】
【数１０】
2020119533.tif 000012
は、ｉ番目のピクセルが対応するＧＴ値上でどのクラスタに属するかを示すワンホットエンコーディング（Ｏｎｅ−Ｈｏｔ  Ｅｎｃｏｄｉｎｇ）ベクトル、そしてＰ（ｉ）は、前記ｉ番目のピクセルのソフトマックススコアに対応するベクトルを意味する。
【００５５】
特に、Ｐ（ｉ）の最も大きな元素値は、前記ｉ番目のピクセルがどのクラスタに属するかに対する予測結果値を示し、
【００５６】
【数１１】
2020119533.tif 000013
は、正解ベクトルである前記ワンホットエンコーディングベクトルである。シグマ演算が繰り返されるたびにＰ（ｉ）と、
【００５７】
【数１２】
2020119533.tif 000014
とが内積（Ｉｎｎｅｒ  Ｐｒｏｄｕｃｔ）演算される。
【００５８】
例えば、図４を参照すれば、前記左車線内に含まれた前記ｉ番目のピクセルに対応するＰ（ｉ）は、（０．１，０．８２，０．０８，０，０）であり、前記対応する
【００５９】
【数１３】
2020119533.tif 000015
は、（０，１，０，０，０）であるため、前記ｉ番目のピクセルに対応する前記初期ソフトマックスロス値は、−ｌｏｇ（０．８２）で算出されるであろう。
【００６０】
前述のように、前記初期ソフトマックスロス値が生成された後、前記ソフトマックスロスレイヤ２５０は、前記初期ソフトマックスロス値及び前記ロス重み付け値を参照して前記調整ソフトマックスロス値を生成する。
【００６１】
この際、前記調整ソフトマックスロス値は、前記ロス重み付け値及び前記初期ソフトマックスロス値を掛けて生成される。前記背景部分に対応する前記ロス重み付け値は小さく調整され、前記車線部分に対応する前記ロス重み付け値は大きく調整されるため、前記ロス重み付け値及び前記初期ソフトマックスロス値を掛けることで、前記車線部分に対応するエラー値は、前記調整ソフトマックスロス値に大きく反映される。
【００６２】
前記学習装置１００は、前記入力イメージ内でピクセル数が少ない部分も正確にセグメンテーションされるように、前記重要領域に対応するエラーが大きく反映された前記調整ソフトマックスロス値をバックプロパゲーションして前記ＣＮＮ２００の前記パラメータを学習することができる。
【００６３】
本発明に係る前記学習プロセスを説明したところ、本発明がテスティング装置として機能する際の構成を説明する。
【００６４】
参考までに、以下の説明において混乱を避けるために、前記学習プロセスに関連する用語に「学習用」という単語が追加され、テスティングプロセスに関連する用語に「テスト用」という単語が追加された。
【００６５】
まず、（Ｉ）少なくとも一つのトレーニングイメージが取得されると、前記学習装置１００が、（ｉ）前記ＣＮＮ２００のエンコーディングレイヤ２１０をもって、前記トレーニングイメージに一つ以上のコンボリューション演算を適用して少なくとも一つの学習用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮ２００のデコーディングレイヤ２２０をもって、前記学習用特徴マップに一つ以上のデコンボリューション演算を適用して前記トレーニングイメージの各ピクセルに対応するそれぞれの学習用セグメンテーションスコアを生成するようにし；（ＩＩ）前記学習装置１００が、前記ＣＮＮ２００のソフトマックスレイヤ２３０をもって、それぞれの前記学習用セグメンテーションスコアにソフトマックス演算を適用して前記トレーニングイメージの各々の前記ピクセルに対応するそれぞれの学習用ソフトマックススコアを生成するようにし；（ＩＩＩ）前記学習装置１００が、前記ＣＮＮ２００の前記重み付け値レイヤ２４０をもって（ｉ）前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記入力イメージのそれぞれの前記ピクセルに対応するそれぞれの前記予測エラー値を生成するようにし、（ｉｉ）それぞれの前記予測エラー値に前記ロス重み付け値演算を適用して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれのロス重み付け値を生成し、前記ロス重み付け値演算は、それぞれの前記ロス重み付け値間の差が、それぞれの前記予測エラー値間の差よりも大きくなるようにし；（ＩＶ）前記学習装置１００が、（ｉ）前記ＣＮＮ２００の前記重み付け値レイヤ２５０をもって（１）それぞれの前記学習用ソフトマックススコア及びこれに対応するＧＴ値を参照して前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの初期ソフトマックスロス値を生成するようにし、（２）それぞれの前記初期ソフトマックスロス値及びそれぞれの前記ロス重み付け値を参照して、前記トレーニングイメージのそれぞれの前記ピクセルに対応するそれぞれの前記調整ソフトマックスロス値を生成するようにした後、（ｉｉ）前記調整ソフトマックスロス値をバックプロパゲーションして前記ＣＮＮのパラメータを学習した状態で、前記通信部１１０は、少なくとも一つのテストイメージを取得する。
【００６６】
その後、前記プロセッサ１２０が（ｉ）前記ＣＮＮ２００の前記エンコーディングレイヤ２１０をもって、前記テストイメージに前記コンボリューション演算を適用して少なくとも一つのテスト用特徴マップを生成するようにし、（ｉｉ）前記ＣＮＮ２００の前記デコーディングレイヤ２２０をもって、前記テスト用特徴マップに前記デコンボリューション演算を適用して、前記テストイメージの各ピクセルに対応するそれぞれのテスト用セグメンテーションスコアを生成するプロセスを遂行する。
【００６７】
そして、前記プロセッサ１２０が、前記ＣＮＮ２００のソフトマックスレイヤ２３０をもって、それぞれの前記テスト用セグメンテーションスコアに前記ソフトマックス演算を適用して前記テストイメージの各々の前記ピクセルに対応するそれぞれのテスト用ソフトマックススコアを生成するようにする。
【００６８】
テスティングする過程で前記ＣＮＮ２００の前記パラメータはすでに学習された状態であるため、ロス値を生成し、これをバックプロパゲーションするプロセスは除外される。従って、前記テスティング装置の構成は、前記ロス値を生成する部分を除いて前記学習装置１００の構成と同様である。つまり、前記ソフトマックススコアを生成する部分である、前記エンコーディングレイヤ２１０ないし前記ソフトマックスレイヤ２３０は、前記テスティング装置の構成になるであろう。
【００６９】
少なくとも一つのアダプティブロス重み付け値（Ａｄａｐｔｉｖｅ  Ｌｏｓｓ  Ｗｅｉｇｈｔ  Ｍａｐ）を利用したアテンションドリブン（Ａｔｔｅｎｔｉｏｎ−Ｄｒｉｖｅｎ）イメージセグメンテーションのための前述した方法は、自律走行自動車のレベル４を満たすために要求される精密地図（ＨＤｍａｐ）をアップデートするために利用され得る。このような方法によって、遠くに見える車線及び道路標識のようなぼやけた物体がより正確に検出され得る。また、敵味方の識別が重要である軍隊において、航空機の標識あるいは軍服を遠距離でも区別するためにこのような方法が有用に遂行され得る。
【００７０】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ及び原本レーブル及び追加レーブルといったイメージデータの送受信が学習装置及びテスティング装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスティング装置のプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスティング装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００７１】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００７２】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００７３】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020119533.tif 000022
【図２】
2020119533.tif 000023
【図３】
2020119533.tif 000024
【図４】
2020119533.tif 000025