(57)【要約】      （修正有）【課題】レーンマスクを使用して車線を検出する方法の学習方法及び学習装置並びにそれを利用したテスト方法及びテスト装置を提供する。【解決手段】レーンマスクを使用して入力イメージに含まれた一つ以上の車線を検出する方法において、学習装置が第２ＣＮＮをもって、最終特徴マップと、セグメンテーションスコアマップと、エンベディッド特徴マップと、を取得する段階と、最終特徴マップ及びレーンマスクを参照して、マスキング済み特徴マップを生成させる段階と、マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップを生成させる段階と、レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階と、第２ＣＮＮに含まれた第１ＦＣレイヤ、第２ＦＣレイヤ及びコンボリューションレイヤのうち一部のパラメータを学習する段階と、を含む。【選択図】図２
2020119527.tif 000002
【特許請求の範囲】
【請求項１】
レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する方法において、
（ａ）（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した状態で、学習装置が、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得する段階；
（ｂ）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；
（ｃ）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；
（ｄ）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階；
（ｅ）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；
を含むことを特徴とする学習方法。
【請求項２】
前記（ｃ）段階で、
前記学習装置が、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする請求項１に記載の学習方法。
【請求項３】
前記（ｂ）段階で、
前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、
前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする請求項１に記載の学習方法。
【請求項４】
前記（ａ）段階で、
前記第１ＣＮＮは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ  ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ  ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする請求項１に記載の学習方法。
【請求項５】
前記（ｂ）段階で、
前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする請求項１に記載の学習方法。
【請求項６】
前記（ｂ）段階で、
前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする請求項１に記載の学習方法。
【請求項７】
前記（ｅ）段階で、
前記ソフトマックスロス値は、
【数１】
2020119527.tif 000006
前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ  ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする請求項１に記載の学習方法。
【請求項８】
前記（ｄ）段階で、
前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項１に記載の学習方法。
【請求項９】
前記（ｅ）段階で、
前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする請求項８に記載の学習方法。
【請求項１０】
レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト方法において、
（ａ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した状態で、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階と、（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階と、（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階と、（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階と、（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階と、を経て学習が完了した状態で、テスト装置が、前記第１ＣＮＮが前記テストイメージに少なくとも一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ���ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した後、前記第２ＣＮＮをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、テスト用前記エンベディッド特徴マップとを取得する段階；
（ｂ）前記テスト装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；
（ｃ）前記テスト装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；
（ｄ）前記テスト装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させる段階；
を含むことを特徴とするテスト方法。
【請求項１１】
前記（ｂ）段階で、
前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれた、これに対応する値を要素ごとに掛け合わせて生成することにより、
前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とする請求項１０に記載のテスト方法。
【請求項１２】
前記（ｄ）段階で、
前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項１０に記載のテスト方法。
【請求項１３】
レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した後、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得した状態で、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させるプロセス；（ＩＶ）（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。
【請求項１４】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする請求項１３に記載の学習装置。
【請求項１５】
前記（Ｉ）プロセスで、
前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することで、前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする請求項１３に記載の学習装置。
【請求項１６】
前記第１ＣＮＮは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ  ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ  ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする請求項１３に記載の学習装置。
【請求項１７】
前記（Ｉ）プロセスで、
前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする請求項１３に記載の学習装置。
【請求項１８】
前記（Ｉ）プロセスで、
前記プロセッサが、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする請求項１３に記載の学習装置。
【請求項１９】
前記（ＩＶ）プロセスで、
前記ソフトマックスロス値は、
【数１】
2020119527.tif 000007
前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ  ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする請求項１３に記載の学習装置。
【請求項２０】
前記（ＩＩＩ）プロセスで、
前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項１３に記載の学習装置。
【請求項２１】
前記（ＩＶ）プロセスで、
前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする請求項２０に記載の学習装置。
【請求項２２】
レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト装置において、
各インストラクションを格納する少なくとも一つのメモリと、
第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した後、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得するプロセス；（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させるプロセス；（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス；を経て学習が完了した状態で、第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔ���ｏｎ  ｓｃｏｒｅ  ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成し、第２ＣＮＮをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、前記テスト用エンベディッド特徴マップとを取得した後、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。
【請求項２３】
前記（Ｉ）プロセスで、
前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とする請求項２２に記載のテスト装置。
【請求項２４】
前記（ＩＩＩ）プロセスで、
前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする請求項２２に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はレーンマスクを使用して車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置に関する。より詳細には、レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する方法において、（ａ）（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した状態で、学習装置が、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得する段階；（ｂ）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（ｃ）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（ｄ）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階；（ｅ）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を含むことを特徴とする学習方法及び装置、並びにこれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にも使われていたが、近年になって初めて機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で広く使用されるようになった。例えば、ＣＮＮは、２０１２年にイメージ認識コンテスト（ＩｍａｇｅＮｅｔ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、ＣＮＮは、機械学習分野で非常に有用なツールとして使用されるようになった。
一方、イメージセグメンテーションは、入力によってイメージ（トレーニングイメージ又はテストイメージ）を得て、出力によってラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ  ｌｅａｒｎｉｎｇ）技術が脚光を浴びるようになるに伴い、セグメンテーションにもディープラーニングを多く使用する傾向にある。
【０００３】
近年、自動車の自律走行システムにディープランニングが広く使用されている。自主走行システムの場合、自律走行状況を示すイメージにおいて車線を認識することが非常に重要である。したがって、自律走行システムは、（ｉ）イメージをセグメンテーションした結果を利用して全ての車線候補を全て検出し、（ｉｉ）ピクセルエンベディッド結果を利用して各車線を分類することで、それぞれの車線を認識するようになる。
【０００４】
しかし、このような従来の車線認識方法は、（ｉ）車線として誤って認識された非車線領域をフィルタリングするための作業と、（ｉｉ）車線をフィッティングする作業である後処理作業を自律走行システムの出力に適用しなければならない問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述の問題点を解決することを目的とする。
【０００６】
本発明は、（ｉ）道路走行状況を示す入力映像において車線を認識するメインプロセスと、（ｉｉ）非車線の領域を取り除いてラインフィッティングを行う後処理プロセスとを含む統合プロセスを提供することを他の目的とする。
【０００７】
また、車線部分が強調された特徴マップを使用して、非車線領域をフィルタリングする方法を提供することをまた他の目的とする。
【課題を解決するための手段】
【０００８】
前記する本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【０００９】
本発明の一態様によると、レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する方法において、（ａ）（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した状態で、学習装置が、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得する段階；（ｂ）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（ｃ）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（ｄ）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させる段階；（ｅ）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を含むことを特徴とする学習方法が提供される。
【００１０】
一実施例において、前記（ｃ）段階で前記学習装置が、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする学習方法が提供される。
【００１１】
一実施例において、前記（ｂ）段階で、前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする学習方法が提供される。
【００１２】
一実施例において、前記（ａ）段階で、前記第１ＣＮＮは（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ  ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ  ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする学習方法が提供される。
【００１３】
一実施例において、前記（ｂ）段階で前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする学習方法が提供される。
【００１４】
一実施例において、前記（ｂ）段階で前記学習装置が、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする学習方法が提供される。
【００１５】
一実施例において、前記（ｅ）段階で、前記ソフトマックスロス値は、
【数１】
2020119527.tif 000003
前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ  ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする学習方法が提供される。
【００１６】
一実施例において、前記（ｄ）段階で前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする学習方法が提供される。
【００１７】
一実施例において、前記（ｅ）段階で前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする学習方法が提供される。
【００１８】
本発明の他の態様によると、レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト方法において、（ａ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した状態で、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階；（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレイニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階；（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を経て学習が完了した状態で、テスト装置が、前記第１ＣＮＮが前記テストイメージに少なくとも一つ以上の第１コンボリュー��ョン演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した後、前記第２ＣＮＮをもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、テスト用前記エンベディッド特徴マップとを取得する段階；（ｂ）前記テスト装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（ｃ）前記テスト装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（ｄ）前記テスト装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させる段階；を含むことを特徴とするテスト方法が提供される。
【００１９】
一実施例において、前記（ｂ）段階で、前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されたことを特徴とするテスト方法が提供される。
【００２０】
一実施例において、前記（ｄ）段階で、前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とするテスト方法が提供される。
【００２１】
本発明のまた他の態様によると、レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出する学習装置において、各インストラクションを格納する少なくとも一つのメモリと、（ｉ）第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）前記最終特徴マップを使用してセグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びエンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した後、第２ＣＮＮをもって、前記最終特徴マップと、前記セグメンテーションスコアマップと、前記エンベディッド特徴マップとを取得した状態で、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与する前記レーンマスクを前記最終特徴マップ上に生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記レーン特徴マップを参照してソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記レーン特徴マップを参照して一つ以上のレーンパラメータを生成させるプロセス；（ＩＶ）（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする学習装置が提供される。
【００２２】
一実施例において、前記（ＩＩ）プロセスで、前記プロセスが、前記第２ＣＮＮの前記コンボリューションレイヤをもって、前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、前記マスキング済み特徴マップに少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成させることを特徴とする学習装置が提供される。
【００２３】
一実施例において、前記（Ｉ）プロセスで、前記マスキング済み特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記車線候補に対応する前記マスキング済み特徴マップの値に一つ以上の特定の重み付け値が付与されたことを特徴とする学習装置が提供される。
【００２４】
一実施例において、前記第１ＣＮＮは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ  ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ  ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して前記エンベディッド特徴マップを生成した状態であることを特徴とする学習装置が提供される。
【００２５】
一実施例において、前記（Ｉ）プロセスで、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、（ｉ）前記セグメンテーションスコアマップを参照して前記車線候補を検出するようにし、（ｉｉ）前記エンベディッド特徴マップを参照して、前記車線候補を分類することにより、前記車線候補を認識させることを特徴とする学習装置が提供される。
【００２６】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記第２ＣＮＮの前記レーンマスキングレイヤをもって、前記車線候補の境界からの距離が第３閾値より小さいピクセルを含む前記領域に前記重み付け値を付与する前記レーンマスクを生成させることを特徴とする学習装置が提供される。
【００２７】
一実施例において、前記（ＩＶ）プロセスで、前記ソフトマックスロス値は、
【数１】
2020119527.tif 000004
前記数式によって演算され、前記数式でｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ  ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は、前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味することを特徴とする学習装置が提供される。
【００２８】
一実施例において、前記（ＩＩＩ）プロセスで、前記レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とする学習装置が提供される。
【００２９】
一実施例において、前記（ＩＶ）プロセスで、前記ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成することを特徴とする学習装置が提供される。
【００３０】
本発明のまた他の態様によると、レーンマスク（Ｌａｎｅ  Ｍａｓｋ）を使用して入力イメージに含まれた一つ以上の車線を検出するテスト装置において、各インストラクションを格納する少なくとも一つのメモリと、第１ＣＮＮが前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した後、（１）学習装置が、第２ＣＮＮをもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階；（２）前記学習装置が、前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用重み付け値を付与する前記トレーニング用レーンマスクを前記トレーニング用最終特徴マップ上に生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（３）前記学習装置が、前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（４）前記学習装置が、前記第２ＣＮＮの第１ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、トレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階；（５）前記学習装置が、（ｉ）前記第２ＣＮＮの多項式ロジスティックロスレイヤをもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮのラインフィッティングロスレイヤをもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮに含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習する段階；を経て学習が完了した状態で、第１ＣＮＮが前記入力イメージに少なく��も一つ以上の第１コンボリューション演算を適用してテスト用最終特徴マップを生成し、前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成し、第２ＣＮＮをもって、前記テスト用最終特徴マップ、前記テスト用セグメンテーションスコアマップ及び前記テスト用エンベディッド特徴マップを取得した後、（Ｉ）前記第２ＣＮＮのレーンマスキングレイヤをもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩ）前記第２ＣＮＮのコンボリューションレイヤをもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させるプロセス；（ＩＩＩ）前記第２ＣＮＮの第１ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤをもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成させるプロセス；を遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするテスト装置が提供される。
【００３１】
一実施例において、前記（Ｉ）プロセスで、前記マスキングされたテスト用特徴マップは、（ｉ）前記入力イメージに含まれた各ピクセルに対応する前記テスト用最終特徴マップ上に含まれたそれぞれの値、及び（ｉｉ）前記テスト用レーンマスクに含まれたこれに対応する値を要素ごとに掛け合わせて生成することにより、前記テスト用車線候補に対応する前記マスキングされたテスト用特徴マップの値に一つ以上のテスト用特定の重み付け値が付与されていることを特徴とするテスト装置が提供される。
【００３２】
一実施例において、前記（ＩＩＩ）プロセスで、前記テスト用レーンパラメータは、前記入力イメージに含まれた特定車線の各中心に位置する中心ピクセルのそれぞれの座標に含まれたそれぞれの第１成分及び第２成分間の関係を示す多項式であることを特徴とするテスト装置が提供される。
【発明の効果】
【００３３】
本発明によると、（ｉ）道路走行状況を示す入力映像で車線を認識するメインプロセスと、（ｉｉ）非車線の領域を取り除いてラインフィッティングを行う後処理プロセスとを含む統合プロセスを提供する。このような過程を通じて、後処理なしに注意基盤（ａｔｔｅｎｔｉｏｎ−ｂａｓｅｄ）の車線検出を遂行することができるので、街中で車線をより正確に感知することができる。
【図面の簡単な説明】
【００３４】
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこのような図面に基づいて他の各図面が得られ得る。
【００３５】
【図１】入力イメージに含まれた車線を検出し、レーンマスクを使用して車線の領域をフィッティングする過程を遂行するための学習装置の構成を示した図である。
【図２】第１ＣＮＮと第２ＣＮＮとの関係、第２ＣＮＮの構成を示した図である。
【図３ａ】第１ＣＮＮによって生成された最終特徴マップの例を示す図である。
【図３ｂ】レーンマスクと最終特徴マップとを参照して生成されたマスキング済み特徴マップの例を示す図である。
【図４】第１ＦＣレイヤで生成されたセグメンテーションスコアマップを示した例示図である。
【図５】第２ＦＣレイヤで生成されたレーンパラメータを示した例示図である。
【発明を実施するための形態】
【００３６】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。このような実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現される得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３７】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３８】
本発明で言及している各種イメージは、舗装又は非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３９】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施するようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
【００４０】
図１は、入力イメージに含まれた車線を認識し、レーンマスクを使用して車線の領域をフィッティングする過程を遂行するための学習装置の構成を示した図である。
【００４１】
図１を参照すると、学習装置１００は、第１ＣＮＮ２００及び第２ＣＮＮ３００を含むことができる。前記第１ＣＮＮ２００及び第２ＣＮＮ３００による様々なデータ入力及び出力機能と様々なデータ演算機能は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０がどのように連結されるのかについての具体的な連結関係を省略した。また、学習装置は、次のプロセスを遂行するためのコンピュータ読取り可能な各インストラクションを格納することができるメモリ１１５が含まれ得る。一例として、プロセッサ、メモリ、ミディアム（ｍｅｄｉｕｍ）等は、統合プロセッサとともに統合され得る。
【００４２】
図２は、第１ＣＮＮと第２ＣＮＮとの関係、第２ＣＮＮの構成を示した図である。
【００４３】
図２を参照すると、第１ＣＮＮ２００は、最終特徴マップ、セグメンテーションスコアマップ及びエンベディッド特徴マップを生成することができ、これを第２ＣＮＮ３００に伝達することができる。第２ＣＮＮ３００は、レーンマスキングレイヤ３１０と、コンボリューションレイヤ３２０と、第１ＦＣレイヤ３３０と、第２ＦＣレイヤ３４０と、多項式ロジスティックロスレイヤ３５０と、ラインフィッティングロスレイヤ３６０とを含むことができる。
【００４４】
具体的に、第１ＣＮＮ２００は、（ｉ）少なくとも一つの第１コンボリューション演算を遂行するエンコードレイヤと、（ｉｉ）少なくとも一つの第１デコンボリューション演算を遂行するデコードレイヤと、（ｉｉｉ）ソフトマックス演算を遂行するソフトマックスレイヤと、（ｉｖ）エンベディッド演算を遂行するエンベディッドレイヤとを含むことができる。通信部１１０によって入力イメージが取得されると、第１ＣＮＮ２００は、（ｉ）前記エンコードレイヤ及びデコードレイヤをもって、入力イメージに第１コンボリューション演算及び第１デコンボリューション演算を適用して最終特徴マップを生成し、（ｉｉ）ソフトマックスレイヤをもって、最終特徴マップにソフトマックス演算を適用してセグメンテーションスコアマップを生成させ、（ｉｉｉ）エンベディッドレイヤをもって、最終特徴マップにエンベディッド演算を適用して、エンベディッド特徴マップを生成させることができる。以後、最終特徴マップと、セグメンテーションスコアマップと、エンベディッド特徴マップとを第２ＣＮＮ３００に伝達することができる。
【００４５】
その後、第２ＣＮＮ３００は、レーンマスキングレイヤ３１０をもって、（ｉ）前記セグメンテーションスコアマップ及び前記エンベディッド特徴マップを参照して、前記入力イメージに含まれた前記車線に対応する一つ以上の車線候補を前記最終特徴マップ上で認識させ、（ｉｉ）前記車線候補に対応する一つ以上の領域に一つ以上の重み付け値を付与して、前記最終特徴マップに前記レーンマスクを生成させ、（ｉｉｉ）前記最終特徴マップ及び前記レーンマスクを参照して、マスキング済み特徴マップを生成させるプロセスを遂行させることができる。
【００４６】
そして、第２ＣＮＮ３００のコンボリューションレイヤ３２０をもって、前記マスキング済み特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してレーン特徴マップを生成させるプロセスを遂行することができる。以後、第２ＣＮＮ３００の第１ＦＣレイヤ３３０及び第２ＦＣレイヤ３４０をもって、前記レーン特徴マップを参照してソフトマックススコアマップ及び一つ以上のレーンパラメータをそれぞれ生成させるプロセスを遂行することができる。ソフトマックススコアマップは、多項式ロジスティックロスレイヤ３５０によって取得され、レーンパラメータは、ラインフィッティングロスレイヤ３６０によって取得された後、第２ＣＮＮ３００は多項式ロジスティックロスレイヤ３５０及びラインフィッティングロスレイヤ３６０をもって、ソフトマックススコアマップに対応する第１原本正解とレーンパラメータに対応する第２原本正解とをそれぞれ参照して、ソフトマックスロス値とラインフィッティングロス値とをそれぞれ生成させるプロセスを遂行することができる。前記ソフトマックスロス値及びラインフィッティングロス値は、第２ＣＮＮ３００に含まれた前記第１ＦＣレイヤ、前記第２ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一部のパラメータを学習するためにバックプロパゲーションされ得る。
【００４７】
以上、第１ＣＮＮと第２ＣＮＮとの関係及び第２ＣＮＮの構成について概括的に検討してみたところ、以下においては、本発明の一実施例による非車線領域の検出及びラインフィッティング学習過程について図３ａ、図３ｂ、図４及び図５を参照して詳しく説明する。
【００４８】
まず、第１ＣＮＮ２００は、入力イメージに第１コンボリューション演算を適用した後、通信部１１０によって取得された入力イメージに第１デコンボリューション演算を適用することにより、最終特徴マップを生成し、最終特徴マップを参照してエンベディッド特徴マップ及びセグメンテーションスコアマップを生成することができる。
【００４９】
ここで、エンベディッド特徴マップは、（ｉ）前記入力イメージに含まれた前記それぞれの車線に含まれた各ピクセルに対応する、前記最終特徴マップに含まれた前記値の平均のうちそれぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ  ｄｉｆｆｅｒｅｎｃｅｓ）を増加させる方式、又は（ｉｉ）前記入力イメージに含まれた前記それぞれの車線に含まれた各ピクセルに対応する、前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａ−ｃｌａｓｓ  ｖａｒｉａｎｃｅｓ）を減少させる方式で、前記最終特徴マップの値を変換して生成することができる。
【００５０】
また、セグメンテーションスコアマップは、最終特徴マップにソフトマックス演算を適用して生成されたものである。ソフトマックス演算は、値が０から１の間の確率でマッピングされるように最終特徴マップの値を正規化するものである。ここで、正規化された最終特徴マップそれぞれの値は、該当する各ピクセルが属するクラスタを示す。したがって、セグメンテーションスコアマップは、入力イメージ内の各ピクセルが示す特徴値のセットが複数の車線領域のうちどの車線領域に属するのか、又は背景領域（例えば、丘の領域又は空の領域など）に属するのかを示す。
【００５１】
前記のように、最終特徴マップとセグメンテーションスコアマップとエンベディッド特徴マップとが第１ＣＮＮ２００によって生成され、第２ＣＮＮ３００は、このような特徴マップを取得することができ、レーンマスキングレイヤ３１０をもって、レーンマスクを生成するプロセスを遂行させることができる。
【００５２】
ここで、第２ＣＮＮは、レーンマスキングレイヤ３１０をもって、セグメンテーションスコアマップ及びエンベディッド特徴マップを参照して車線候補群を認識することができる。レーンマスキングレイヤ３１０は、セグメンテーションスコアマップを参照して、入力イメージに含まれた非車線領域と背景領域とは別に車線候補を検出し、エンベディッド特徴マップを参照して、車線候補群を車線別に分類することができる。先に説明したように、入力イメージに含まれた前記それぞれの車線に含まれた各ピクセルに対応する前記最終特徴マップに含まれた前記値の平均のうち、それぞれの異なるクラス間の差（ｉｎｔｅｒ−ｃｌａｓｓ  ｄｉｆｆｅｒｅｎｃｅｓ）を増加させるか、又は前記入力イメージに含まれた前記それぞれの車線に含まれたピクセルに対応する前記最終特徴マップに含まれた前記値のそれぞれの同一クラス内部の分散（ｉｎｔｒａｃｌａｓｓ  ｖａｒａｎｃｅｓ）を減少するものである。
【００５３】
この段階で、車線候補群を認識する場合は、車線である確率の低い領域も大まかに車線として判断する。今後の段階で、車線と判断される確率が設定済み閾値以下である部分（非車線領域）を取り除くものであるからである。
【００５４】
車線候補群が認識されると、入力イメージ上で車線候補群に対応する一つ以上の領域に一つ以上の重み付け値を付与するレーンマスクを生成する。レーンマスクは、一種の重み付けマトリクス（ｗｅｉｇｈｔ  ｍａｔｒｉｘ）であるので、最終特徴マップとレーンマスクとをピクセル単位で掛け合わせて、該当領域に重み付け値を付与するようになる。
【００５５】
前記車線候補に対応する領域は、前記車線候補のサイドポイント（ｓｉｄｅ  ｐｏｉｎｔ）からの距離が第３閾値より小さいピクセルを含むことができる。ここで、車線候補のサイドポイントは、車線候補の水平線（ｈｏｒｉｚｏｎｔａｌ  ｌｉｎｅ）と境界（ｂｏｕｎｄａｒｉｅｓ）との交差点（ｉｎｔｅｒｓｅｃｔｉｏｎ  ｐｏｉｎｔ）であり得る。前記該当領域が車線候補周辺のピクセルを含むことにより、重み付け値は車線候補の周辺に割り当てられて車線をより正確に認識することができる。
【００５６】
前記のような方式でレーンマスクが生成されると、第２ＣＮＮ３００はレーンマスキングレイヤ３１０をもって、最終特徴マップ及びレーンマスクを参照してマスキング済み特徴マップを生成することができる。マスキング済み特徴マップの一例が図３ｂとともに説明されるので、図３ａに示された最終特徴マップと図３ｂに示されたマスキング済み特徴マップとを比較することができる。
【００５７】
図３ａは、第１ＣＮＮ２００によって生成された最終特徴マップの例示図である。
【００５８】
図３ａを参照すると、入力イメージに含まれた領域、例えば、空の領域、丘の領域、車線領域、車線でない道路領域など、それぞれの領域に対応する最終特徴マップの値にあまり差がないことを確認することができる。
【００５９】
図３ｂは、第２ＣＮＮ３００のレーンマスキングレイヤ３１０によって生成されたマスキング済み特徴マップの例示図である。
【００６０】
図３ｂを参照すると、車線の領域に対応する最終特徴マップの値が図３ａに比べて大きくなっていることが分かる。これは上述したとおり、レーンマスクと最終特徴マップとが掛け合わされたことに起因する。重み付けマトリクスの一種であるレーンマスクにより、車線候補に対応する最終特徴マップの値は前記乗算によって重み付け値が付与され得るのである。
【００６１】
以後、第２ＣＮＮ３００は、コンボリューションレイヤ３２０をもって、（ｉ）前記マスキング済み特徴マップに一回以上の前記第２コンボリューション演算を適用するか、又は（ｉｉ）前記マスキング済み特徴マップに前記第２コンボリューション演算を適用した後、少なくとも一つのグローバルプーリング演算をさらに適用して、前記レーン特徴マップを生成することができる。レーン特徴マップは、第１ＦＣレイヤ３３０及び第２ＦＣレイヤ３４０に伝達されて、（ｉ）非車線領域を認識し、（ｉｉ）車線のパラメータを生成することができる。第１ＦＣレイヤ３３０及び第２ＦＣレイヤ３４０によって遂行されるプロセスは下記にてそれぞれ説明することにする。
【００６２】
まず、非車線領域の認識学習のためのソフトマックスロス値を生成する過程を検討する。
【００６３】
レーン特徴マップが第１ＦＣレイヤ３３０に伝達された後、第１ＦＣレイヤ３３０は、レーン特徴マップにクラシフィケーション演算を適用することにより、出力値を生成し、この出力値にソフトマックス演算を適用することにより、ソフトマックススコアマップを生成する。
【００６４】
前記ソフトマックス演算は、第１ＣＮＮ２００で遂行されたソフトマックス演算と同一であるところ、これについての説明は省略する。
【００６５】
学習過程で、ソフトマックススコアマップは、多項式ロジスティックロスレイヤ３５０に伝達される。以後、伝達されたソフトマックススコアマップ及びこれに対応する第１原本正解は、ソフトマックスロス値を生成するために参照される。
【数２】
2020119527.tif 000005
第２ＣＮＮ３００は、多項式ロジスティックロスレイヤ３５０をもって、前記式の演算をソフトマックススコアマップに適用してソフトマックスロス値を生成することができる。ここで、ｓは前記入力イメージに含まれた前記ピクセルの個数、ｉは１以上ｓ以下の整数、ｌｉはｉ番目のピクセルがこれに対応する第１原本正解上でどのクラスタに属するのかを示すワンホットエンコードベクトル（ｏｎｅ−ｈｏｔ−ｅｎｃｏｄｉｎｇ  ｖｅｃｔｏｒ）であり、Ｐ（ｉ）は前記ｉ番目のピクセルに対応するソフトマックススコアマップに含まれた値に対応するベクトルを意味する。
【００６６】
図４は、本発明の一例示にしたがって生成されたソフトマックススコアマップの例示図である。
【００６７】
図４を参照してソフトマックス損失値に対する前記数式が意味するところを詳しく説明する。図４で、左側車線の特定ピクセルに対応するソフトマックススコアが（０．０１、０．１、０．８９、０、０、０、０）と表現されたことが分かり、それに対応するｌｉベクトルは（０、０、１、０、０、０、０）と表現されるので、特定ピクセルに対応するソフトマックスロス値は−１×ｌоｇ（０．８９）と計算される。このような方式により計算されたピクセルごとのロス値が合算された後、ピクセルの個数で割られてソフトマックスロス値が導き出される。本発明のソフトマックスロス値は、前記数式を通じて演算され得るが、これに限定されるわけではない。
【００６８】
次に、車線領域をフィッティングする方法を学習するためのラインフィッティングロス値を生成する過程を検討してみる。
レーン特徴マップが第２ＦＣレイヤ３４０に伝達された後、第２ＦＣレイヤ３４０はそれぞれの第１成分及びそれぞれの第２成分の関係を示す多項式であるレーンパラメータを生成する。前記第１成分及び第２成分は、各車線候補それぞれの中央に位置したピクセルの各座標に含まれたＸ座標（第１成分）及びＹ座標（第２成分）である。
【００６９】
図５は、第２ＦＣレイヤによって生成されたレーンパラメータの一例を示す。
【００７０】
学習過程において、レーンパラメータはラインフィッティングロスレイヤ３６０に伝達される。以後、伝達されたレーンパラメータ及びこれに対応する第２原本正解は、ラインフィッティングロス値を生成するために参照される。
【００７１】
ラインフィッティングロス値は、（ｉ）前記第１成分を前記多項式に入力して取得された前記第２成分のそれぞれの値と、（ｉｉ）前記第１成分に対応する前記第２原本正解のそれぞれの値とのそれぞれの差を参照して生成される。
【００７２】
たとえば、特定のレーンパラメータに対応する特定の多項式がＹ＝３Ｘであり、それに対応する第２原本正解の中心座標が（１、３．５）であれば、誤差は３．５−（１×３）である０．５と計算される。このような誤差値を参照して、各ピクセルごとにそれぞれのラインフィッティングロス値が生成され得る。
【００７３】
前記の方式によってソフトマックスロス値及びラインフィッティングロス値が生成された後、前記各ロスはバックプロパゲーションされることで、第２ＣＮＮ３００に含まれた第１ＦＣレイヤ、第２ＦＣレイヤ及びコンボリューションレイヤのうち少なくとも一部のパラメータを学習するのに使用される。
【００７４】
以上、本発明の一実施例による学習装置１００の学習過程を説明したところ、（ｉ）本発明がテスト装置として機能する際の構成、及び（ｉｉ）学習装置１００とテスト装置との相違点について説明する。
【００７５】
参考までに、後述する説明において混同を防止するために、学習プロセスと関連する用語には「学習用」という文言が追加され、テストプロセスに関連する用語には「テスト用」という文言が追加された。
【００７６】
まず、第１ＣＮＮ２００が前記入力イメージに少なくとも一つ以上の第１コンボリューション演算を適用してトレーニング用最終特徴マップを生成し、前記トレーニング用最終特徴マップを使用してトレーニング用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びトレーニング用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した状態で、（１）学習装置１００が、第２ＣＮＮ３００をもって、前記トレーニング用最終特徴マップと、前記トレーニング用セグメンテーションスコアマップと、前記トレーニング用エンベディッド特徴マップとを取得する段階；（２）前記学習装置１００が、前記第２ＣＮＮ３００のレーンマスキングレイヤ３１０をもって、（ｉ）前記トレーニング用セグメンテーションスコアマップ及び前記トレーニング用エンベディッド特徴マップを参照して、前記トレーニングイメージに含まれた前記トレーニング用車線に対応する一つ以上のトレーニング用車線候補を前記トレーニング用最終特徴マップ上で認識させ、（ｉｉ）前記トレーニング用車線候補に対応する一つ以上のトレーニング用領域に一つ以上のトレーニング用の重み付け値を付与して、前記トレーニング用最終特徴マップに前記トレーニング用レーンマスクを生成させ、（ｉｉｉ）前記トレーニング用最終特徴マップ及び前記トレーニング用レーンマスクを参照して、マスキング済みトレーニング用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（３）前記学習装置１００が、前記第２ＣＮＮ３００のコンボリューションレイヤ３２０をもって、前記マスキング済みトレーニング用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してトレーニング用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成させる段階；（４）前記学習装置１００が、前記第２ＣＮＮ３００の第１ＦＣレイヤ３３０をもって、前記トレーニング用レーン特徴マップを参照してトレーニング用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮの第２ＦＣレイヤ３４０をもって、前記トレーニング用レーン特徴マップを参照して、一つ以上のトレーニング用レーンパラメータを生成させる段階；（５）前記学習装置１００が、（ｉ）前記第２ＣＮＮ３００の多項式ロジスティックロスレイヤ３５０をもって、前記トレーニング用ソフトマックススコアマップ及びこれに対応する第１原本正解を参照してソフトマックスロス値を生成させ、（ｉｉ）前記第２ＣＮＮ３００のラインフィッティングロスレイヤ３６０をもって、前記トレーニング用レーンパラメータ及びこれに対応する第２原本正解を参照してラインフィッティングロス値を生成させ、（ｉｉｉ）前記ソフトマックスロス値及び前記ラインフィッティングロス値をバックプロパゲーションすることにより、前記第２ＣＮＮ３００に含まれた前記第１ＦＣレイヤ３３０、前記第２ＦＣレイヤ３４０及び前記コンボリューションレイヤ３２０のうち少なくとも一部のパラメータを学習する段階；を経て学習が完了した状態で、テスト装置が、（ｉ）前記第１ＣＮＮ２００が前記テストイメージに少なくとも一つ以上の第１コン���リューション演算を適用してテスト用最終特徴マップを生成し、（ｉｉ）前記テスト用最終特徴マップを使用してテスト用セグメンテーションスコアマップ（ｓｅｇｍｅｎｔａｔｉｏｎ  ｓｃｏｒｅ  ｍａｐ）及びテスト用エンベディッド特徴マップ（ｅｍｂｅｄｄｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成した後、前記第２ＣＮＮ３００をもって、前記テスト用最終特徴マップと、前記テスト用セグメンテーションスコアマップと、テスト用前記エンベディッド特徴マップとを取得することができる。
【００７７】
第二に、前記テスト装置が、前記第２ＣＮＮのレーンマスキングレイヤ３１０をもって、（ｉ）前記テスト用セグメンテーションスコアマップ及びテスト用前記エンベディッド特徴マップを参照して、前記テストイメージに含まれた前記テスト用車線に対応する一つ以上のテスト用車線候補を前記テスト用最終特徴マップ上で認識させ、（ｉｉ）前記テスト用車線候補に対応する一つ以上のテスト用領域に一つ以上のテスト用重み付け値を付与して、前記テスト用最終特徴マップに前記テスト用レーンマスクを生成させ、（ｉｉｉ）前記テスト用最終特徴マップ及び前記テスト用レーンマスクを参照して、マスキングされたテスト用特徴マップ（ｍａｓｋｅｄ  ｆｅａｔｕｒｅ  ｍａｐ）を生成することができる。
【００７８】
第三に、前記テスト装置が、前記第２ＣＮＮ３００のコンボリューションレイヤ３２０をもって、前記マスキングされたテスト用特徴マップに少なくとも一つ以上の第２コンボリューション演算を適用してテスト用レーン特徴マップ（ｌａｎｅ  ｆｅａｔｕｒｅ  ｍａｐ）を生成することができる。
【００７９】
最後に、前記テスト装置が、前記第２ＣＮＮ３００の第１ＦＣレイヤ３３０をもって、前記テスト用レーン特徴マップを参照してテスト用ソフトマックススコアマップ（ｓｏｆｔｍａｘ  ｓｃｏｒｅ  ｍａｐ）を生成させ、前記第２ＣＮＮ３００の第２ＦＣレイヤ３４０をもって、前記テスト用レーン特徴マップを参照して一つ以上のテスト用レーンパラメータを生成することができる。
【００８０】
第１ＦＣレイヤ３３０、第２ＦＣレイヤ３４０及びコンボリューションレイヤ３２０のパラメータは、テストの際にすべて学習された状態であるので、ロス値を求める過程とバックプロパゲーションの過程は省略される。すなわち、テスト装置として本発明が機能する場合の構成は、学習装置として機能する場合の構成においてロス値を求める構成を除いて学習装置１００の構成と同一である。
【００８１】
本発明の技術分野における通常の技術者に理解されるところとして、上記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算とを遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
【００８２】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００８３】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【００８４】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020119527.tif 000008
【図２】
2020119527.tif 000009
【図３ａ】
2020119527.tif 000010
【図３ｂ】
2020119527.tif 000011
【図４】
2020119527.tif 000012
【図５】
2020119527.tif 000013