(57)【要約】      （修正有）【課題】自律走行自動車のレベル４を満たすために提供される領域のクラスに応じてモードを切り換えてグリッドセルごとに複数の重み付けコンボリューションフィルタそれぞれを利用してイメージをセグメンテーションする方法、学習装置及びテスト装置を提供する。【解決手段】方法は、エンコードレイヤをもって、エンコード済み特徴マップを生成させ、デコードレイヤをもって、デコード済み特徴マップを生成させる段階と、特定のデコード済み特徴マップをグリッドセルに区画すると、重み付けコンボリューションレイヤをもって、重み付けコンボリューションフィルタをグリッドセルごとに対応するように設定して、特定のデコード済み特徴マップに対して重み付けコンボリューション演算を適用させる段階及びロスをバックプロパゲーションする段階と、を含む。【選択図】図２
2020119521.tif 000002
【特許請求の範囲】
【請求項１】
グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用したイメージセグメンテーション方法において、
（ａ）少なくとも一つの入力イメージが取得されると、学習装置が、（ｉ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、前記入力イメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのエンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定のエンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのデコード済み特徴マップを生成させる段階；
（ｂ）前記デコードレイヤから出力された特定のデコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記学習装置が、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記特定のデコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることでセグメンテーション結果を出力させる段階；及び
（ｃ）前記学習装置が、前記セグメンテーション結果と、それに対応する原本正解とを参照して取得されたセグメンテーションロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習させる段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階は、
前記学習装置が、前記特定のデコード済み特徴マップ上の少なくとも一つの特徴値を参照して、少なくとも一つの特定基準に従ってそれぞれグルーピングされた少なくとも一つの領域のうち最も広い領域を参照領域として設定する段階を含み、
前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれは、次の数式で表現され、
Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉ＝αｉ＊Ｂ＋βｉ
ここで、Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれの値それぞれを意味し、Ｂは前記参照領域に対応する参照フィルタ値を意味し、αｉ及びβｉそれぞれは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれに対応する線形変換パラメータ（Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ）それぞれを意味し、
前記（ｃ）段階で、
前記学習装置は、前記αｉ、βｉ及びＢを学習することにより、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習することを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｂ）段階で、
前記特定のデコード済み特徴マップ上の前記特徴値を参照して、前記特徴値の範囲に応じてそれぞれグルーピングされた少なくとも一つの領域のうち前記最も広い領域を前記参照領域として設定することを特徴とする請求項２に記載の方法。
【請求項４】
前記入力イメージは、複数個のトレーニングイメージを含み、
前記複数個のトレーニングイメージそれぞれに第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報がある状態で、前記入力イメージは、前記第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが少なくとも一つの予め設定された閾値以下である特定のトレーニングイメージを含むように選択されることを特徴とする請求項１に記載の方法。
【請求項５】
前記（ｂ）段階で、
前記グリッドセルそれぞれの形と大きさは、いずれも同一であることを特徴とする請求項１に記載の方法。
【請求項６】
前記入力イメージは、道路走行状況を示したイメージであり、前記学習装置は、道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする請求項１に記載の方法。
【請求項７】
グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用してイメージをセグメンテーションするテスト方法において、
（ａ）（１）（ｉ）学習装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用エンコード済み特徴マップを生成させ、（ｉｉ）前記学習装置が、前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定の学習用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用デコード済み特徴マップを生成させ；（２）前記デコードレイヤから出力された特定の学習用デコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記学習装置が、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定の学習用デコード済み特徴マップに対して前記重み付けコンボリューションレイヤの重み付けコンボリューション演算を少なくとも一回適用させることで学習用セグメンテーション結果を出力させ；（３）前記学習装置が、前記セグメンテーション結果とそれに対応する原本正解とを参照して取得されたセグメンテーションロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習した状態で、少なくとも一つのテストイメージが取得されると、テスト装置は、（ｉ）前記ＣＮＮモジュールの前記エンコードレイヤをもって、前記テストイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用エンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールの前記デコードレイヤをもって、前記エンコードレイヤから出力された特定のテスト用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用デコード済み特徴マップを生成させる段階；及び
（ｂ）前記デコードレイヤから出力された特定のテスト用デコード済み特徴マップが少なくとも一つの前記予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記テスト装置が、前記ＣＮＮモジュールの前記重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定のテスト用デコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることにより、テスト用セグメンテーション結果を出力させる段階；
を含むことを特徴とする方法。
【請求項８】
前記テストイメージは道路走行状況を示したイメージであり、前記テスト装置は、道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする請求項７に記載の方法。
【請求項９】
グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用したイメージセグメンテーションする学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）（ｉ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、少なくとも一つの入力イメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのエンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定のエンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのデコード済み特徴マップを生成させるプロセス、（ＩＩ）前記デコードレイヤから出力された特定のデコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記特定のデコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることでセグメンテーション結果を出力させるプロセス、及び（ＩＩＩ）前記セグメンテーション結果とそれに対応する原本正解とを参照して取得されたセグメンテーションロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習させるプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。
【請求項１０】
前記（ＩＩ）プロセスは、
前記特定のデコード済み特徴マップ上の少なくとも一つの特徴値を参照して、少なくとも一つの特定基準に従ってそれぞれグルーピングされた少なくとも一つの領域のうち最も広い領域を参照領域として設定するプロセスを含み、
前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれは、次の数式で表現され、
Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉ＝αｉ＊Ｂ＋βｉ
ここで、Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれの値それぞれを意味し、Ｂは前記参照領域に対応する参照フィルタ値を意味し、αｉ及びβｉそれぞれは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれに対応する線形変換パラメータ（Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ）それぞれを意味し、
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記αｉ、βｉ及びＢを学習することにより、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習することを特徴とする請求項９に記載の学習装置。
【請求項１１】
前記（ＩＩ）プロセスで、
前記特定のデコード済み特徴マップの前記特徴値を参照して、前記特徴値の範囲に応じてそれぞれグルーピングされた少なくとも一つの領域のうち前記最も広い領域を前記参照領域として設定することを特徴とする請求項１０に記載の学習装置。
【請求項１２】
前記入力イメージは複数個のトレーニングイメージを含み、
前記複数個のトレーニングイメージそれぞれに第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報がある状態で、前記入力イメージは、前記第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが少なくとも一つの予め設定された閾値以下である特定のトレーニングイメージを含むように選択されることを特徴とする請求項９に記載の学習装置。
【請求項１３】
前記（ＩＩ）プロセスは、
前記グリッドセルのそれぞれの形と大きさはいずれも同一であることを特徴とする請求項９に記載の学習装置。
【請求項１４】
前記入力イメージは道路走行状況を示したイメージであり、前記学習装置は、道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする請求項９に記載の学習装置。
【請求項１５】
グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用してイメージをセグメンテーションするテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
（１）（ｉ）学習装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用エンコード済み特徴マップを生成させ、（ｉｉ）前記学習装置が、前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定の学習用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用デコード済み特徴マップを生成させ、（２）前記デコードレイヤから出力された特定の学習用デコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記学習装置が、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定の学習用デコード済み特徴マップに対して前記重み付けコンボリューションレイヤの重み付けコンボリューション演算を少なくとも一回適用させることで学習用セグメンテーション結果を出力させ、（３）前記学習装置が、前記セグメンテーション結果とそれに対応する原本正解とを参照して取得されたセグメンテーションロスを利用して、バックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習した状態で、（Ｉ）（ｉ）前記ＣＮＮモジュールの前記エンコードレイヤをもって、少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用エンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールの前記デコードレイヤをもって、前記エンコードレイヤから出力された特定のテスト用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用デコード済み特徴マップを生成させるプロセス、（ＩＩ）前記デコードレイヤから出力された特定のテスト用デコード済み特徴マップが少なくとも一つの前記予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記ＣＮＮモジュールの前記重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定のテスト用デコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることで、テスト用セグメンテーション結果を出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。
【請求項１６】
前記テストイメージは道路走行状況を示したイメージであり、前記テスト装置は、道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする請求項１５に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自律走行自動車のレベル４を満たすために、領域のクラスに応じてモードを切り換えてグリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用してイメージをセグメンテーションする方法に関し、より詳細には、前記グリッドセルごとに複数個の前記重み付けコンボリューションフィルタそれぞれを利用した前記イメージセグメンテーション方法において、（ａ）少なくとも一つの入力イメージが取得されると、学習装置が、（ｉ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、前記入力イメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのエンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定のエンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのデコード済み特徴マップを生成させる段階；（ｂ）前記デコードレイヤから出力された特定のデコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記学習装置が、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記特定のデコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることでセグメンテーション結果を出力させる段階；及び（ｃ）前記学習装置が、前記セグメンテーション結果とそれに対応する原本正解とを参照して取得されたセグメンテーションロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習させる段階；を含む方法及び装置、並びにこれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にもすでに使用されていたが、現在のように広く使用されるようになったのは、最近の研究結果の賜物である。このようなディープＣＮＮは、２０１２年のイメージ分類コンテストで他の競争相手に勝って優勝を収めた。その後、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールになった。
【０００３】
一方、イメージセグメンテーション（Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ）は、イメージ（トレーニングイメージまたはテストイメージ）を利用してラベル（Ｌａｂｅｌ）イメージを生成する方法である。最近、ディープランニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）技術が脚光を浴びるに伴い、イメージセグメンテーションにもディープラーニング技術が多く使用される傾向にある。
【０００４】
ディープラーニング基盤のイメージセグメンテーションは、入力イメージをエンコーダ／デコーダに入力し、前記デコーダから出力された最終結果に対してコンボリューション演算を適用することにより取得される。この際、デコーダから出力された最終結果に対してコンボリューション演算を適用する場合、一般的に最終結果の全ての領域に対して同じ重み付け値のコンボリューションフィルタを適用するようになる。
【０００５】
一方、ＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）に利用されるＦＳＤ（Ｆｒｅｅ  Ｓｐａｃｅ  Ｄｅｔｅｃｔｉｏｎ）のようにカメラが固定され、複数の入力イメージに含まれている物体と道路の構造的形態が互いに類似した状況（例えば、イメージの中央部分には道路、イメージの左側と右側部分には歩道、イメージの上側には建物や空などが位置する状況）でイメージセグメンテーションを行う場合を想定する場合、イメージのうち一つにおいて全体領域に対して同一の重み付け値のコンボリューションフィルタを適用するとすれば、互いに類似した構造という特性を活用しないまま、非効率的に演算を数多く遂行するようになり、入力イメージを利用してイメージセグメンテーションプロセスを遂行して取得した出力結果も好ましくない問題点が存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述した問題点を解決することを目的とする。
【０００７】
本発明は、入力イメージに対応するデコード済み特徴マップ内にグリッドセルごとに複数の重み付けコンボリューションフィルタそれぞれを利用してイメージセグメンテーションを遂行することを他の目的とする。
【０００８】
本発明は、特定のデコード済み特徴マップで大きな比重を占める特定のグリッドセルに対応する特定のコンボリューションフィルタを参照フィルタ（Ｒｅｆｅｒｅｎｃｅ  Ｆｉｌｔｅｒ）として使用して、参照フィルタ値を線形変換することにより、グリッドセルの残りの部分のフィルタ値を算出させることを他の目的とする。
【課題を解決するための手段】
【０００９】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【００１０】
本発明の一態様によると、グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用したイメージセグメンテーション方法において、（ａ）少なくとも一つの入力イメージが取得されると、学習装置が、（ｉ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、前記入力イメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのエンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定のエンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのデコード済み特徴マップを生成させる段階；（ｂ）前記デコードレイヤから出力された特定のデコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記学習装置が、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記特定のデコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることでセグメンテーション結果を出力させる段階；及び（ｃ）前記学習装置が、前記セグメンテーション結果と、それに対応する原本正解とを参照して取得されたセグメンテーションロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習させる段階；を含むことを特徴とする。
【００１１】
一実施例おいて、前記（ｂ）段階は、前記学習装置が、前記特定のデコード済み特徴マップ上の少なくとも一つの特徴値を参照して、少なくとも一つの特定基準に従ってそれぞれグルーピングされた少なくとも一つの領域のうち最も広い領域を参照領域として設定する段階を含み、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれは、次の数式で表現され、
Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉ＝αｉ＊Ｂ＋βｉ
ここで、Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれの値それぞれを意味し、Ｂは前記参照領域に対応する参照フィルタ値を意味し、αｉ及びβｉそれぞれは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれに対応する線形変換パラメータ（Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ）それぞれを意味し、前記（ｃ）段階で、前記学習装置は、前記αｉ、βｉ及びＢを学習することにより、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習することを特徴とする。
【００１２】
一実施例において、前記（ｂ）段階で、前記特定のデコード済み特徴マップ上の前記特徴値を参照して、前記特徴値の範囲に応じてそれぞれグルーピングされた少なくとも一つの領域のうち前記最も広い領域を前記参照領域として設定することを特徴とする。
【００１３】
一実施例において、前記入力イメージは、複数個のトレーニングイメージを含み、前記複数個のトレーニングイメージそれぞれに第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報がある状態で、前記入力イメージは、前記第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが少なくとも一つの予め設定された閾値以下である特定のトレーニングイメージを含むように選択されることを特徴とする。
【００１４】
一実施例において、前記（ｂ）段階で、前記グリッドセルそれぞれの形と大きさは、いずれも同一であることを特徴とする。
【００１５】
一実施例において、前記入力イメージは、道路走行状況を示したイメージであり、前記学習装置は、道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする。
【００１６】
本発明の他の態様によると、グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用してイメージをセグメンテーションするテスト方法において、（ａ）（１）（ｉ）学習装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用エンコード済み特徴マップを生成させ、（ｉｉ）前記学習装置が、前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定の学習用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用デコード済み特徴マップを生成させ；（２）前記デコードレイヤから出力された特定の学習用デコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記学習装置が、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定の学習用デコード済み特徴マップに対して前記重み付けコンボリューションレイヤの重み付けコンボリューション演算を少なくとも一回適用させることで学習用セグメンテーション結果を出力させ；（３）前記学習装置が、前記セグメンテーション結果とそれに対応する原本正解とを参照して取得されたセグメンテーションロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習した状態で、少なくとも一つのテストイメージが取得されると、テスト装置は、（ｉ）前記ＣＮＮモジュールの前記エンコードレイヤをもって、前記テストイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用エンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールの前記デコードレイヤをもって、前記エンコードレイヤから出力された特定のテスト用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用デコード済み特徴マップを生成させる段階；及び（ｂ）前記デコードレイヤから出力された特定のテスト用デコード済み特徴マップが少なくとも一つの前記予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記テスト装置が、前記ＣＮＮモジュールの前記重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定のテスト用デコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることにより、テスト用セグメンテーション結果を出力させる段階；を含むことを特徴とする。
【００１７】
一実施例において、前記テストイメージは道路走行状況を示したイメージであり、前記テスト装置は道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする。
【００１８】
本発明のまた他の態様によると、グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用したイメージセグメンテーションする学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）（ｉ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、少なくとも一つの入力イメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのエンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定のエンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのデコード済み特徴マップを生成させるプロセス、（ＩＩ）前記デコードレイヤから出力された特定のデコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記特定のデコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることでセグメンテーション結果を出力させるプロセス、及び（ＩＩＩ）前記セグメンテーション結果とそれに対応する原本正解とを参照して取得されたセグメンテーションロスを利用してバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習させるプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００１９】
一実施例において、前記（ＩＩ）プロセスは、前記特定のデコード済み特徴マップ上の少なくとも一つの特徴値を参照して、少なくとも一つの特定基準に従ってそれぞれグルーピングされた少なくとも一つの領域のうち最も広い領域を参照領域として設定するプロセスを含み、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれは、次の数式で表現され、
Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉ＝αｉ＊Ｂ＋βｉ
ここで、Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれの値それぞれを意味し、Ｂは前記参照領域に対応する参照フィルタ値を意味し、αｉ及びβｉそれぞれは、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれに対応する線形変換パラメータ（Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ）それぞれを意味し、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記αｉ、βｉ及びＢを学習することにより、前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習することを特徴とする。
【００２０】
一実施例において、前記（ＩＩ）プロセスで、前記特定のデコード済み特徴マップの前記特徴値を参照して、前記特徴値の範囲に応じてそれぞれグルーピングされた少なくとも一つの領域のうち前記最も広い領域を前記参照領域として設定することを特徴とする。
【００２１】
一実施例において、前記入力イメージは複数個のトレーニングイメージを含み、前記複数個のトレーニングイメージそれぞれに第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報がある状態で、前記入力イメージは、前記第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが少なくとも一つの予め設定された閾値以下である特定のトレーニングイメージを含むように選択されることを特徴とする。
【００２２】
一実施例において、前記（ＩＩ）プロセスは、前記グリッドセルのそれぞれの形と大きさは、いずれも同一であることを特徴とする。
【００２３】
一実施例において、前記入力イメージは道路走行状況を示したイメージであり、前記学習装置は、道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする。
【００２４】
本発明のまた他の態様によると、グリッドセル（Ｇｒｉｄ  Ｃｅｌｌ）ごとに複数個の重み付けコンボリューションフィルタ（Ｗｅｉｇｈｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｆｉｌｔｅｒ）それぞれを利用してイメージをセグメンテーションするテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（１）（ｉ）学習装置が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モジュールのエンコードレイヤをもって、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用エンコード済み特徴マップを生成させ、（ｉｉ）前記学習装置が、前記ＣＮＮモジュールのデコードレイヤをもって、前記エンコードレイヤから出力された特定の学習用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つの学習用デコード済み特徴マップを生成させ、（２）前記デコードレイヤから出力された特定の学習用デコード済み特徴マップが少なくとも一つの予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記学習装置が、前記ＣＮＮモジュールの重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定の学習用デコード済み特徴マップに対して前記重み付けコンボリューションレイヤの重み付けコンボリューション演算を少なくとも一回適用させることで学習用セグメンテーション結果を出力させ、（３）前記学習装置が、前記セグメンテーション結果とそれに対応する原本正解とを参照して取得されたセグメンテーションロスを利用して、バックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行して前記グリッドセルごとの前記重み付けコンボリューションフィルタそれぞれを学習した状態で、（Ｉ）（ｉ）前記ＣＮＮモジュールの前記エンコードレイヤをもって、少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用エンコード済み特徴マップを生成させ、（ｉｉ）前記ＣＮＮモジュールの前記デコードレイヤをもって、前記エンコードレイヤから出力された特定のテスト用エンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用させて少なくとも一つのテスト用デコード済み特徴マップを生成させるプロセス、（ＩＩ）前記デコードレイヤから出力された特定のテスト用デコード済み特徴マップが少なくとも一つの前記予め設定された基準に従って複数個の前記グリッドセルに区画されると、前記ＣＮＮモジュールの前記重み付けコンボリューションレイヤをもって、前記重み付けコンボリューションフィルタそれぞれを前記グリッドセルそれぞれに対応するように設定させ、前記デコードレイヤから出力された前記特定のテスト用デコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させることで、テスト用セグメンテーション結果を出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロ��ッサと、を含むことを特徴とする。
【００２５】
一実施例において、前記テストイメージは道路走行状況を示したイメージであり、前記テスト装置は、道路走行の際にフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されることを特徴とする。
【発明の効果】
【００２６】
本発明は、入力イメージに含まれた物体及び道路の構造的形態が互いに類似している場合にグリッドセルごとの複数個の重み付けコンボリューションフィルタそれぞれを利用して最適化されたイメージセグメンテーション結果を得ることができる効果がある。
【００２７】
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明による学習装置の構成を示した図面である。
【図２】図２は、本発明によるグリッドセルごとの複数の重み付けコンボリューションフィルタそれぞれを使用してイメージセグメンテーションを遂行するプロセスを示した図面である。
【図３】図３は、本発明によるイメージセグメンテーションを遂行するＣＮＮモジュールの少なくとも一つのパラメータを学習するプロセスを示した図面である。
【図４】図４は、本発明によるＣＮＮモジュール内の重み付けコンボリューションレイヤのプロセスを示した図面である。
【図５ａ】図５ａは、本発明による参照領域を設定する例示を示した図面である。
【図５ｂ】図５ｂは、本発明による参照領域を設定する例示を示した図面である。
【発明を実施するための形態】
【００２９】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３０】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３１】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるわけではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるわけではない。
【００３２】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施させるために、本発明の好ましい実施例に対して、添付された図面を参照して詳細に説明することとする。
【００３３】
図１は、本発明による学習装置の構成を示した図面である。
【００３４】
図１を参照すると、学習装置１００は、プロセッサ１１０と通信部１２０とを含むことができる。また、学習装置１００は、ＣＮＮモジュール２００を含むか、場合によってＣＮＮモジュールを含まずＣＮＮモジュール２００と相互作用することができる。ＣＮＮモジュール２００の少なくとも一つのパラメータを学習する少なくとも一つのプロセスは、プロセッサ１１０によって行われ得る。また、学習装置１００は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ１１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は、統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）に統合され得る。
【００３５】
図２は、本発明によるＣＮＮモジュール２００が入力イメージを演算するプロセスを示した図面である。
【００３６】
図２を参照すると、ＣＮＮモジュール２００は、エンコードレイヤ２１０と、デコードレイヤ２２０と、重み付けコンボリューションレイヤ２３０とを含むことができる。
【００３７】
具体的に、エンコードレイヤ２１０は、入力イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのエンコード済み特徴マップを生成するプロセスを遂行し、デコードレイヤ２２０は、エンコードレイヤ２１０で出力された特定のエンコード済み特徴マップに対してデコンボリューション演算を少なくとも一回適用して少なくとも一つのデコード済み特徴マップを生成するプロセスを遂行することができる。ここで、エンコードレイヤ２１０で出力された特定のエンコード済み特徴マップは、エンコードレイヤ２１０で最終的に出力された特徴マップであり得るが、これに限定されるわけではない。
【００３８】
次に、重み付けコンボリューションレイヤ２３０は、デコードレイヤ２２０から出力された特定のデコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用してセグメンテーション結果を出力させるプロセスを遂行することができるが、これについては、追って図４を参照して詳しく説明するようにする。ここで、特定のデコード済み特徴マップは、デコードレイヤ２２０で最終的に出力された特徴マップであり得るが、これに限定されるわけではない。
【００３９】
図３は、ＣＮＮモジュール２００がエンコードレイヤ２１０、デコードレイヤ２２０及び重み付けコンボリューションレイヤ２３０の少なくとも一つのパラメータを学習するプロセスを示した図面である。
【００４０】
図３を説明するにおいて、図２ですでに説明された構成については説明を省略することとする。
【００４１】
図３を参照すると、重み付けコンボリューションレイヤ２３０は、セグメンテーション結果を出力する。この際、セグメンテーション結果はセグメンテーションの予測結果に該当し得、学習装置はこのようなセグメンテーション結果とそれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して取得されるセグメンテーションロスを利用してバックプロパゲーションを遂行してＣＮＮモジュールの少なくとも一つのパラメータを学習する。
【００４２】
具体的に、学習装置１００は、重み付けコンボリューションレイヤ２３０、デコードレイヤ２２０、エンコードレイヤ２１０の順にバックプロパゲーションを遂行することによってパラメータを学習させる。このような学習プロセスは、ロスが特定の閾値より小さくなる場合、完了したものと見ることができるが、これに限定されるわけではない。
【００４３】
図４は、本発明による重み付けコンボリューションレイヤ２３０の演算過程を詳しく示した図面である。
【００４４】
デコードレイヤ２２０から出力された特定のデコード済み特徴マップを少なくとも一つの予め設定された基準に従って複数個のグリッドセルに区画すると、学習装置１００は、ＣＮＮモジュール２００の重み付けコンボリューションレイヤ２３０をもってグリッドセルそれぞれに対応するように重み付けコンボリューションフィルタそれぞれを設定させ、特定のデコード済み特徴マップに対して重み付けコンボリューション演算を少なくとも一回適用させてセグメンテーション結果を出力させる。その際、全てのグリッドの形と大きさを同じにする方式、すなわち正方形にする方式が設定され得るが、これに限定されるわけではない。
【００４５】
図４に提示されたコンボリューションフィルタ値、すなわち、｛ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ｝及び｛ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ、ｑ、ｒ｝などを見ると、各グリッドセルごとにコンボリューションフィルタ値が互いに異なって設定されていることを確認することができる。このような方式によって、より詳しく表現されるべき部分と、詳しく表現される必要性の少ない部分に重み付け値を異なるように適用してイメージセグメンテーションを行うことができるであろう。
【００４６】
例えば、自動車のＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｉｎｇ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）に含まれた学習装置１００がフリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出のために使用されると、セグメンテーション結果には少なくとも一つの道路または道路上の自動車などの障害物となり得る少なくとも一つの物体が詳しく表現されなければならず、空などの背景は詳しく表現される必要が少ないであろう。したがって、これに対応する原本正解においても道路部分が詳しく表現され、残りの部分は詳しく表現されないであろう。このような場合、道路に対応するグリッドセルごとの重み付けコンボリューションフィルタそれぞれの値それぞれは大きくなり、それ以外の背景に対応するグリッドセルごとの重み付けコンボリューションフィルタそれぞれの値それぞれは小さくなるであろう。このようなプロセスを経ると、道路上の物体がより正確にセグメンテーションされるはずである。
【００４７】
このようにグリッドセルごとに重み付けコンボリューションフィルタそれぞれが異なって設定されるため、ＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）に利用されるＦＳＤ（Ｆｒｅｅ  Ｓｐａｃｅ  Ｄｅｔｅｃｔｉｏｎ）のようにカメラが固定され、複数の入力イメージに含まれている物体と道路の構造的形態が互いに類似した状況（例えば、イメージの中央部分には道路、イメージの左側と右側部分には歩道、イメージの上側には建物や空などが位置する状況）において、イメージセグメンテーションがさらに効果的に遂行される。
【００４８】
詳しく説明すると、複数個のトレーニングイメージそれぞれに第１分割領域ないし第ｋ分割領域に対応する第１位置情報ないし第ｋ位置情報があると想定する場合、特定のトレーニングイメージそれぞれにおける第１位置情報の相対的な偏差ないし前記第ｋ位置情報の相対的な偏差のうち少なくとも一部それぞれが少なくとも一つの予め設定された閾値以下である特定のトレーニングイメージを含むように入力イメージが選択された。
【００４９】
例えば、空、道路及び歩道をそれぞれ第１分割領域、第２分割領域及び第３分割領域と見るとすると、第１位置情報は空がイメージの上段に位置するという事実、第２位置情報は道路がイメージの中央に位置するという事実、第３の位置情報はイメージの左側と右側に歩道が位置するという事実によって決定されるであろう。この場合、それぞれの入力イメージの第１、第２及び第３分割領域のそれぞれの中心座標を参照して、第１、第２及び第３位置情報を取得することができるはずである。
【００５０】
グリッドセルごとの重み付けコンボリューションフィルタそれぞれの値それぞれを決定する方法は、それぞれのフィルタ値を学習プロセスを通じて直接決定する方式以外にも多様であり得る。例えば、参照領域に対応する特定のグリッドセルに対応する特定のコンボリューションフィルタの値（即ち、参照フィルタの値）を求めた後、参照フィルタ値を線形変換することにより周辺部のフィルタ値を求める方式が適用され得る。
【００５１】
この際、参照領域とは、特定のデコード済み特徴マップ上の少なくとも一つの特徴値を参照して、少なくとも一つの特定基準に従ってそれぞれグルーピングされた少なくとも一つの領域のうち最も広い領域をいう。簡単に言えば、入力イメージがそれぞれの領域の特性によっていくつかの領域に分かれた場合、その全ての領域のうち代表領域が参照領域として決定される。
【００５２】
図５ａ及び図５ｂは、本発明による参照領域を設定する例を示す図面である。
【００５３】
図５ｂにおいて、参照領域は黒色で表示されていることが分かる。その際、参照領域は、イメージにおいて最も広い領域を占める道路に対応する領域であることを確認することができる。ただし、実際にこのようなイメージ上の参照領域を設定するのではなく、実際には特定のデコード特徴マップ上の特徴値を参照して特定のデコード済み特徴マップ上で参照領域を決定する。図５ａ及び図５ｂにおいてデコード済み特徴マップの代わりにイメージで表示したのは、単に説明の便宜のためであることを明らかにしておく。
【００５４】
参照領域は前記のように設定されるのであり、以後（ｉ）参照フィルタはどのように決定されるか、（ｉｉ）参照領域周辺の領域に対応する一部グリッドに対するコンボリューションフィルタ値はどのような線形変換を通じて演算されるのか、（ｉｉｉ）前記線形変換の数式及び線形変換のパラメータ決定方法はどうであるかなどを検討することにする。
【００５５】
グリッドセルごとの重み付けコンボリューションフィルタそれぞれは、次の数式で表現される。
【００５６】
Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉ＝αｉ＊Ｂ＋βｉ
ここで、Ｗ＿Ｃ＿Ｆｉｌｔｅｒｉはグリッドセルごとの重み付けコンボリューションフィルタそれぞれの値それぞれを意味し、Ｂは参照領域に対応する参照フィルタ値を意味し、αｉ及びβｉそれぞれは、グリッドセルごとの重み付けコンボリューションフィルタそれぞれに対応する線形変換パラメータ（Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ）それぞれを意味する。
【００５７】
この場合、αｉ、βｉ及びＢは、図３に示されたバックプロパゲーションを通じて学習される。
【００５８】
以後、ＣＮＮモジュール２００の学習が完了した場合、ＣＮＮモジュール２００がテスト装置として機能する方式を検討するために、図２を再度参照する。
【００５９】
図２を参照すると、ＣＮＮモジュール２００が入力イメージを受信する場合、入力イメージに対して順次にエンコードレイヤ２１０、デコードレイヤ２２０及び重み付けコンボリューションレイヤ２３０の演算を適用することにより、セグメンテーション結果を出力させる。テストプロセスの前に、それぞれのレイヤのパラメータは既に学習された状態であるため、原本正解を利用してロスを算出するプロセスは除外される。つまり、テスト装置の構成は、ロスをバックプロパゲーションするプロセスを含まない点で学習装置の構成と異なる。
【００６０】
前記の方法を通じて、道路走行イメージとしてイメージセグメンテーション結果が生成されると、イメージセグメンテーション結果はフリースペース検出のために使用され得る。
【００６１】
本発明の技術分野における通常の技術者に理解され得るところとして、上記にて説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算とを行うためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）により保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセスによって遂行され得るが、本発明がこれに限定されはしないであろう。
【００６２】
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００６３】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【００６４】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020119521.tif 000003
【図２】
2020119521.tif 000004
【図３】
2020119521.tif 000005
【図４】
2020119521.tif 000006
【図５ａ】
2020119521.tif 000007
【図５ｂ】
2020119521.tif 000008