(57)【要約】      （修正有）【課題】学習装置を利用して、自律走行自動車のレベル４及びレベル５を満足させるために必要な道路障害物及び交通標識などのエッジ検出におけるセグメンテーション性能向上のための学習方法を提供する。【解決手段】学習方法は、学習装置がｋ個のコンボリューションレイヤをもってｈ個のマスクレイヤに対応するｈ個のエンコード済み特徴マップを含んで、ｋ個のエンコード済み特徴マップを生成するようにする段階と、ｋ個のデコンボリューションレイヤをもってｈ個のマスクレイヤに対応するｈ個のデコード済み特徴マップ及びｈ個のバンドパス特徴マップを利用し、（ｋ−ｈ）個のデコンボリューションレイヤにそれぞれ入力される特徴マップを利用し、デコンボリューションレイヤ及びコンボリューションレイヤのパラメータを調整して、ｋ個のデコード済み特徴マップを生成するようにする段階と、を含む。【選択図】図２
2020119500.tif 000002
【特許請求の範囲】
【請求項１】
（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについて、コンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）レイヤを含む学習装置を利用したイメージセグメンテーションの性能向上のための学習方法において、
（ａ）前記トレーニングイメージが入力されると、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；
（ｂ）前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階；
（ｃ）前記学習装置が、前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する段階；
を含むことを特徴とする学習方法。
【請求項２】
前記（１）プロセスで、
前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、
前記（２）プロセスで、
前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
前記（ｂ）段階で、
前記学習装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力することを特徴とする請求項１に記載の学習方法。
【請求項３】
前記（ｃ）段階で、
前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって、前記第ｋないし前記第１デコンボリューションレイヤのうち前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行することを特徴とする請求項１に記載の学習方法。
【請求項４】
前記（ａ）段階で、
前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、
前記（ｂ）段階で、
前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項１に記載の学習方法。
【請求項５】
前記学習装置は、（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、
前記（ｂ）段階は、
（ｂ１）前記学習装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させる段階；及び
（ｂ２）前記学習装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階；
を含むことを特徴とする請求項１に記載の学習方法。
【請求項６】
前記学習装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達することを特徴とする請求項５に記載の学習方法。
【請求項７】
前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定されることを特徴とする請求項５に記載の学習方法。
【請求項８】
前記（１）プロセスで、
前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、
前記（２）プロセスで、
前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
前記（ｂ１）段階で、
前記学習装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、
前記（ｂ２）段階で、
前記学習装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコード済み特徴マップを出力することを特徴とする請求項７に記載の学習方法。
【請求項９】
少なくとも一つのテストイメージに対するセグメンテーションのためのテスト方法において、
（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、前記テストイメージが入力されると、テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（ａ１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（ａ２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；及び
（ｂ）前記テスト装置が、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；
を含むことを特徴とするテスト方法。
【請求項１０】
前記（ａ１）プロセスで、
前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、
前記（ａ２）プロセスで、
前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
前記（ｂ）段階で、
前記テスト装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項９に記載のテスト方法。
【請求項１１】
前記（ａ）段階で、
前記テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するようにし、
前記（ｂ）段階で、
前記テスト装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１テスト用デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項９に記載のテスト方法。
【請求項１２】
前記テスト装置は（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、
前記（ｂ）段階は、
（ｂ１）前記テスト装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して、第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させる段階；及び
（ｂ２）前記テスト装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；
を含むことを特徴とする請求項９に記載のテスト方法。
【請求項１３】
前記テスト装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達することを特徴とする請求項１２に記載のテスト方法。
【請求項１４】
前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定されることを特徴とする請求項１２に記載のテスト方法。
【請求項１５】
前記（ａ１）プロセスで、
前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、
前記（ａ２）プロセスで、
前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
前記（ｂ１）段階で、
前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、
前記（ｂ２）段階で、
前記テスト装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項１４に記載のテスト方法。
【請求項１６】
（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含む、セグメンテーション性能向上のための学習装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（I）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；及び（III）前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項１７】
前記（I−１）プロセスで、
前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、
前記（I−２）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
前記（II）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力することを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記（III）プロセスで、 
前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって前記第ｋないし前記第１デコンボリューションレイヤのうち、前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行することを特徴とする請求項１６に記載の学習装置。
【請求項１９】
前記（I）プロセスで、
前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、
前記（II）プロセスで、
前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項１６に記載の学習装置。
【請求項２０】
（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；が前記学習装置にさらに含まれ、
前記（II）プロセスは、
（II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させるプロセス；及び
（II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；
を含むことを特徴とする請求項１６に記載の学習装置。
【請求項２１】
前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記学習装置にさらに含まれるものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達することを特徴とする請求項２０に記載の学習装置。
【請求項２２】
前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定されることを特徴とする請求項２０に記載の学習装置。
【請求項２３】
前記（I−１）プロセスで、
前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、
前記（I−２）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
前記（II−１）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、
前記（II−２）プロセスで、
前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコード済み特徴マップを出力することを特徴とする請求項２２に記載の学習装置。
【請求項２４】
少なくとも一つのテストイメージのセグメンテーションに関するテスト装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、（I）前記第１ないし前記第ｋコンボリューシ��ンレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；及び（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスト装置。
【請求項２５】
前記（I−１）プロセスで、
前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、
前記（I−２）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
前記（II）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項２４に記載のテスト装置。
【請求項２６】
前記（I）プロセスで、
前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するようにし、
前記（II）プロセスで、
前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１テスト用デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項２４に記載のテスト装置。
【請求項２７】
（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤが前記テスト装置にさらに含まれ；
前記（II）プロセスは、
（II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させるプロセス；及び
（II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセス；
を含むことを特徴とする請求項２４に記載のテスト装置。
【請求項２８】
前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記テスト装置にさらに含まれるものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達することを特徴とする請求項２７に記載のテスト装置。
【請求項２９】
前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定されることを特徴とする請求項２７に記載のテスト装置。
【請求項３０】
前記（I−１）プロセスで、
前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、
前記（I−２）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
前記（II−１）プロセスで、
前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、
前記（II−２）プロセスで、
前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項２９に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物及び交通標識などのエッジを検出するにおけるセグメンテーション性能向上のための学習方法に関し、より詳細には、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）レイヤを含む学習装置を利用した前記イメージセグメンテーションの性能向上のための前記学習方法において、（ａ）前記トレーニングイメージが入力されると、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階：（ｂ）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階：（ｃ）前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）ラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリュ���ションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する段階；を含むことを特徴とする学習方法及び前記学習装置、並びにこれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープラーニングは、事物やデータを群集化したり分類するのに使用する技術である。例えば、コンピュータは写真だけで犬と猫を区分することができない。しかし、人はとても容易にこの二つを区分することができる。このため、「機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」という方法が考案された。これはコンピュータをもって入力された多くのデータのうちで類似したもの同士分類するようにする技術である。犬の写真と類似した動物の写真が入力されると、前記コンピュータはこれを犬の写真であると分類するのである。
【０００３】
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「意思決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的である。このうち、ディープラーニングは人工神経網の後裔である。
【０００４】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使われていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
【０００５】
図１はＣＮＮを利用した一般的なセグメンテーションプロセスを簡略に示した図である。
【０００６】
図１を参照すると、従来の車線検出方法では、学習装置が、入力イメージが入力されて、一つ以上のコンボリューションレイヤをもって前記入力イメージに一つ以上のコンボリューション演算及び一つ以上の非線形演算であるＲｅＬＵを適用して少なくとも一つの特徴マップを出力し、一つ以上のデコンボリューションレイヤをもって、前記特徴マップに一つ以上のデコンボリューション演算及びソフトマックス演算を適用するようにしてセグメンテーション結果を生成する。
【０００７】
しかし、前記イメージのエンコード及びデコードプロセスで、エッジ部分が多く消えてしまう問題があり、こうした問題を解決し、前記入力イメージやこれに対応する特徴マップにおいて、前記エッジを強化しようとする様々な方法が提示されている。例えば、Ｇｏｌｎａｚ  Ｇｈｉａｓｉ  ａｎｄ  Ｃｈａｒｌｅｓｓ  Ｃ．Ｆｏｗｌｋｅｓは「Ｌａｐｌａｃｉａｎ  Ｐｙｒａｍｉｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ａｎｄ  Ｒｅｆｉｎｅｍｅｎｔ  ｆｏｒ  Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ」というタイトルの論文（ｈｔｔｐｓ：／／ｗｗｗ．ｉｃｓ．ｕｃｉ．ｅｄｕ／〜ｆｏｗｌｋｅｓ／ｐａｐｅｒｓ／ｇｆ−ｅｃｃｖ１６．ｐｄｆ）において、ラプラシアンピラミッドを利用して、前記イメージをセグメンテーションする方法を提示した。このような方法は、サイズが小さい特徴マップにおいて、前記エッジを抽出してサイズが大きな特徴マップに前記エッジ情報を加えようとしたが、すでに前記エッジに対する情報がたくさん消失した状態であるので、かなりの性能向上を期待することが難しかった。
【０００８】
また、このような方法は、前記論文の前記タイトルとは異なって上位周波数の範囲を設定済バンドに分離する概念を利用しないので、前記ラプラシアンピラミッドを利用したと見ることはできない。併せて、このような方法はもともと存在していたエッジではなく、任意に生成したエッジを使用するために前記正確なエッジを反映することができないという問題点が存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）においてエッジ情報を格納して、特徴マップを生成することができる方法を提供することを目的とする。
【００１０】
また、本発明は、ラフラシアンピラミッドネットワークを構築することができるＣＮＮ構造を提示することを目的とする。
【００１１】
また、本発明は、エッジ情報の反映の際に、任意に生成されるエッジではなく、もともと存在するエッジ情報を見出して正確なエッジが反映され得る方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様によると、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについて、コンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含む学習装置を利用したイメージセグメンテーション性能向上のための学習方法において、（ａ）前記トレーニングイメージが入力されると、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階：（ｂ）前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階：（ｃ）前記学習装置が、前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴ）ラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する段階；を含むことを特徴とする学習方法が提供される。
【００１３】
一実施例において、前記（１）プロセスで、前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、前記（２）プロセスで、前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（ｂ）段階で、前記学習装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力する。
【００１４】
一実施例において、前記（ｃ）段階で、前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって、前記第ｋないし前記第１デコンボリューションレイヤのうち前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ、及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行する。
【００１５】
一実施例において、前記（ａ）段階で、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて、前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、前記（ｂ）段階で、前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させる。
【００１６】
一実施例において、前記学習装置は（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、前記（ｂ）段階は、（ｂ１）前記学習装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させる段階；及び（ｂ２）前記学習装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階；を含む。
【００１７】
一実施例において、前記学習装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達する。
【００１８】
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション（ｄｉｌａｔｅｄ  ｃｏｎｖｏｌｕｔｉｏｎ）演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ）は、０の値を有するフィルター重み付け値によって決定される。
【００１９】
一実施例において、前記（１）プロセスで、前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、前記（２）プロセスで、前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（ｂ１）段階で、前記学習装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、前記（ｂ２）段階で、前記学習装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコード済み特徴マップを出力する。
【００２０】
本発明の他の態様によると、少なくとも一つのテストイメージに対するセグメンテーションのためのテスト方法において、（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、前記テストイメージが入力されると、テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（ａ１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（ａ２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；及び（ｂ）前記テスト装置が、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力する段階：を含むことを特徴とするテスト方法が提供される。
【００２１】
一実施例において、前記（ａ１）プロセスで、前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、前記（ａ２）プロセスで、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（ｂ）段階で、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力する。
【００２２】
一実施例において、前記（ａ）段階で、前記テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するように  して、前記（ｂ）段階で、前記テスト装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させ、前記第ｋないし前記第１テスト用デコード済み特徴マップをそれぞれ出力させる。
【００２３】
一実施例において、前記テスト装置は（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、前記（ｂ）段階は、（ｂ１）前記テスト装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させる段階；及び（ｂ２）前記テスト装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；を含む。
【００２４】
一実施例において、前記テスト装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達する。
【００２５】
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定される。
【００２６】
一実施例において、前記（ａ１）プロセスで、前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、前記（ａ２）プロセスで、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（ｂ１）段階で、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、前記（ｂ２）段階で、前記テスト装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力する。
【００２７】
本発明のまた他の態様によると、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含む、セグメンテーション性能向上のための学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（I）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；及び（III）前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴と���る学習装置が提供される。
【００２８】
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力する。
【００２９】
一実施例において、前記（III）プロセスで、前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって前記第ｋないし前記第１デコンボリューションレイヤのうち、前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行する。
【００３０】
一実施例において、前記（I）プロセスで、前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させる。
【００３１】
一実施例において、（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；が前記学習装置にさらに含まれ、前記（II）プロセスは、（II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させるプロセス；及び（II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；を含む。
【００３２】
一実施例において、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記学習装置にさらに含まれるものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達する。
【００３３】
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定される。
【００３４】
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（II−１）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、前記（II−２）プロセスで、前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコードされたの特徴マップを出力する。
【００３５】
本発明のまた他の態様によると、少なくとも一つのテストイメージのセグメンテーションに関するテスト装置において、インストラクションを格納する少なくとも一つのメモリ；及び学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、（I）前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；及び（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスト装置が提供される。
【００３６】
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力する。
【００３７】
一実施例において、前記（I）プロセスで、前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１テスト用デコードされたの特徴マップをそれぞれ出力させる。
【００３８】
一実施例において、（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤが前記テスト装置にさらに含まれて；前記（II）プロセスは、（II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させるプロセス；及び（II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセス；を含む。
【００３９】
一実施例において、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記テスト装置にさらに含まれ、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達する。
【００４０】
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定される。
【００４１】
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（II−１）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、前記（II−２）プロセスで、前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力する。
【発明の効果】
【００４２】
本発明によると、エッジ部分の格納された情報を有し、少なくとも一つの特徴マップを生成することができる前記ＣＮＮが提供され得る効果がある。
【００４３】
また、本発明によると、ラフラシアンピラミッドネットワークを構築することができるできるＣＮＮが提供され得る効果がある。
【００４４】
また、本発明によると、任意に生成されるエッジ部分ではなく、エンコード済み特徴マップからエッジ部分を抽出するため、正確なエッジ部分の情報を反映することができる効果がある。
【図面の簡単な説明】
【００４５】
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において、通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の図面が得られ得る。
【図１】図１は、ＣＮＮを利用したコンボリューションセグメンテーションのプロセスを簡略に示したものである。
【図２】図２は、本発明の一実施例によるラプラシアンピラミッドネットワークを利用してイメージセグメンテーションするプロセスを簡略に示したものである。
【図３】図３は、本発明の他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。
【図４】図４は、本発明の前記ラプラシアンピラミッドネットワークを利用して、エッジ部分を抽出するプロセスを詳細に示したものである。
【図５】図５は、本発明のまた他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。
【発明を実施するための形態】
【００４６】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、その実施例に関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現される得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００４７】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
【００４８】
また、本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４９】
以下、本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例に関して、添付された図面を参照して詳細に説明することとする。
【００５０】
図２は、本発明の一実施例によるラプラシアンピラミッドネットワークを利用してイメージセグメンテーションするプロセスを簡略に示したものである。
【００５１】
本発明による前記ラプラシアンピラミッドネットワークを学習するためのＣＮＮ基盤の学習装置は、図２で示したように、順次に連結されている第１コンボリューションレイヤ（１００＿１）ないし第ｋコンボリューションレイヤ（１００＿ｋ）及び第ｋデコンボリューションレイヤ（２００＿ｋ）ないし第１デコンボリューションレイヤ（２００＿１）を含む。そして、第１マスクレイヤ（３００＿１）ないし第（ｋ−１）マスクレイヤ（３００＿（ｋ−１）及び第１ディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）レイヤ（４００＿１）ないし第（ｋ−１）ディファレンシャルレイヤ（４００＿（ｋ−１）がそれぞれの前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））の次に含まれる。この際、前記第１ディファレンシャルレイヤ（４００＿１）ないし前記第（ｋ−１）ディファレンシャルレイヤ（４００＿（ｋ−１））のそれぞれは、これに対応する次のコンボリューションレイヤに連結されて、前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））から出力されたそれぞれの特徴マップと前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））から出力されたそれぞれの特徴マップとの間のそれぞれの差を前記対応する次のコンボリューションレイヤに伝達する。一方、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第２デコンボリューションレイヤ（２００＿２）それぞれの次には前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）からの出力それぞれと前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第２デコンボリューションレイヤ（２００＿２）からの出力それぞれを合算する第（ｋ−１）を合算レイヤ（５００＿（ｋ−１））ないし第１合算レイヤ（５００＿１）が存在する。ここで、「ディファレンシャル」という用語は、数学での微分や微分学を意味しない。
【００５２】
まず、少なくとも一つのトレーニングイメージ（１０）が入力されると、前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）は第１ないし第ｋエンコード済み特徴マップを生成し、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）は、前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第ｋないし第１デコード済み特徴マップを出力する。そして、前記第１デコード済み特徴マップに少なくとも一つ所定の演算を適用して、少なくとも一つのセグメンテーションラベルイメージ（２０）が生成される。
【００５３】
図２を参照すると、前記第１ないし前記第ｋエンコード済み特徴マップを生成する前記プロセスで、前記学習装置は（ｉ）前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））をもって、前記第１ないし前記第（ｋ−１）エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得して、前記第１ないし前記第（ｋ−１）コンボリューションレイヤから出力された前記第１ないし前記第（ｋ−１）エンコード済み特徴マップから一つ以上のエッジ部分を抽出させることにより、第１ないし第（ｋ−１）バンドパス特徴マップをそれぞれ出力するようにし、（ｉｉ）前記第１ディファレンシャルレイヤ（４００＿１）ないし前記第（ｋ−１）ディファレンシャルレイヤ（４００＿（ｋ−１））をもって、前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））から出力された前記第１ないし前記第（ｋ−１）エンコード済み特徴マップそれぞれと前記第１ないし前記第（ｋ−１）マスクレイヤから出力された前記第１ないし前記第（ｋ−１）バンドパス特徴マップそれぞれの差を求めて第１ないし第（ｋ−１）ディファレンシャル特徴マップを出力させることにより、前記第１ないし前記第（ｋ−１）ディファレンシャル特徴マップそれぞれをそれに対応する次のコンボリューションレイヤに伝達するようにする。
【００５４】
そして、前記第ｋないし前記第１デコード済み特徴マップを出力する前記プロセスで、前記第ｋエンコード済み特徴マップが前記第ｋデコンボリューションレイヤ（２００＿ｋ）に入力されると、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）は、前記第ｋエンコード済み特徴マップ及び以前デコンボリューションレイヤから出力された前記第ｋないし前記第２デコード済み特徴マップにそれぞれ前記デコンボリューション演算を適用して順次に前記第ｋないし前記第１デコード済み特徴マップを出力するものの、前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）から出力された前記第（ｋ−１）ないし前記第１バンドパス特徴マップは、前記第ｋないし前記第２デコード済み特徴マップに反映され得る。
【００５５】
この際、前記学習装置は、（ｉ）前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）をもって順次に前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを減少させ、チャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、（ｉｉ）前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））をもって前記第１ないし前記第（ｋ−１）エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出して、前記第１ないし前記第（ｋ−１）エンコード済み特徴マップから前記エッジ部分を抽出させることにより、前記第１ないし前記第（ｋ−１）バンドパス特徴マップを出力するようにし、（ｉｉｉ）前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）をもって順次に前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを増加させ、チャンネル数を減少させて前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させる。
【００５６】
そして、前記学習装置は、前記セグメンテーションラベルイメージ（２０）及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する。
【００５７】
一方で、前記学習装置は少なくとも一つのロスレイヤをもって前記第１デコンボリューションレイヤ（２００＿１）からの出力を利用するだけでなく、複数の前記デコンボリューションレイヤから出力された複数の前記デコード済み特徴マップを利用して、前記ロスを出力させる。たとえば、前記学習装置は、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）のうち少なくとも一つに対応する前記ロスレイヤ（図示せず）をもって前記第ｋないし前記第１デコンボリューションレイヤのうち、前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに対応するＧＴラベルイメージを参考にして一つ以上のロスを生成する。その後、前記学習装置は前記ロスを利用したバックプロパゲーションを遂行することができる。
【００５８】
図３は、本発明の他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。
【００５９】
図３に示された本発明の他の実施例による前記ラプラシアンピラミッドネットワークを学習するための前記ＣＮＮ基盤の前記学習装置は、図２に示された本発明の一実施例による前記ラプラシアンピラミッドネットワークを学習するための前記ＣＮＮ基盤の前記学習装置と基本的に類似した構成を有するが、前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））のうちでｈ個のコンボリューションレイヤにそれぞれ対応する第１ないし第ｈマスクレイヤ及び前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈディファレンシャルレイヤを含んで、前記マスクレイヤ及び前記ディファレンシャルレイヤは前記すべてのコンボリューションレイヤに対応しない。参考までに、図３に３００＿１と表現されたレイヤが前記第１マスクレイヤであり、３００＿（ｋ−１）と表現されたレイヤが前記第ｈマスクレイヤであり、４００＿１と表現されたレイヤが前記第１ディファレンシャルレイヤであり、４００＿（ｋ−１）と表現されたレイヤが前記第ｈディファレンシャルレイヤであろう。
【００６０】
この場合には、図３に示された前記学習装置は、前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）をもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する。
【００６１】
そして、図３に示された前記学習装置は、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）をもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる。たとえば、前記学習装置は、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）をもって、（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力する。
【００６２】
図４は、本発明の前記ラプラシアンピラミッドネットワークを利用して、前記エッジ部分を抽出するプロセスを詳しく示す。
【００６３】
図４を参考にすると、前記学習装置は前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）のうちで第ｎコンボリューションレイヤ（１００＿ｎ）をもって（前記ｎは１からｋまでの整数である）前記ｈ個のマスクレイヤの一つに対応しない以前コンボリューションレイヤから伝達されたエンコード済み特徴マップ或いは以前ディファレンシャルレイヤから伝達されたディファレンシャル特徴マップに一つ以上のコンボリューション演算を適用するようにする。図４は、前記第１ないし前記第ｈディファレンシャルレイヤのうちで第（ｍ−１）ディファレンシャルレイヤから（前記ｍは１から前記ｈまでの整数である）第（ｍ−１）ディファレンシャル特徴マップを獲得した例を示す。
【００６４】
図４において、前記第ｎコンボリューションレイヤ（１００＿ｎ）は、入力された前記第（ｍ−１）ディファレンシャル特徴マップに前記コンボリューション演算を適用して第ｎエンコード済み特徴マップを生成する。図４で、それぞれの四角ボックスは各特徴マップの周波数領域を示し、矢印は、前記第ｎコンボリューションレイヤ（１００＿ｎ）、第ｍマスクレイヤ（３００＿ｍ）及び第ｍディファレンシャルレイヤ（４００＿ｍ）と関連した入力あるいは出力を示す。図４に示されたように、前記入力された第（ｍ−１）ディファレンシャル特徴マップの周波数領域は、前記出力された第ｎエンコード済み特徴マップの周波数領域とは大きな差がない。
【００６５】
しかも、図４を参照すると、前記第１ないし前記第ｈマスクレイヤのうちで前記第ｍマスクレイヤ（３００＿ｍ）は、前記第ｎコンボリューションレイヤ（１００＿ｎ）から伝達された前記第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成する。前記第ｍマスクレイヤ（３００＿ｍ）は、前記第ｎエンコード済み特徴マップの前記周波数が対応閾値より大きい領域を獲得して前記第ｍバンドパス特徴マップを生成するために、バンドパスフィルターとして機能する。図４を参考にすると、前記第ｍバンドパス特徴マップの周波数領域は、前記第ｎエンコード済み特徴マップの、対応閾値より高い前記抽出された周波数領域を示す。そして、前記学習装置は、前記第ｍマスクレイヤ（３００＿ｍ）に対応する前記第ｍディファレンシャルレイヤ（４００＿ｍ）をもって、（ｉ）前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、（ｉｉ）前記第ｎコンボリューションレイヤ（１００＿ｎ）の次の第（ｎ＋１）コンボリューションレイヤ（図示せず）に前記第ｍディファレンシャル特徴マップを伝達する。図４を参考にすると、前記第ｍディファレンシャル特徴マップの周波数領域は、前記第ｎエンコード済み特徴マップの、対応閾値より高い前記周波数が除去された領域を含む。
【００６６】
このように、それぞれのバンドパス特徴マップは、それぞれのマスクレイヤを通じて前記エンコード済み特徴マップの周波数バンドに対応する領域を抽出して順次に生成され、それぞれのディファレンシャルレイヤを通じて対応閾値より高い周波数が除去されて、それぞれのローパスフィルタリングされた（ｌｏｗ  ｐａｓｓ  ｆｉｌｔｅｒｅｄ）特徴マップが順次に生成される。これにより、本発明による前記学習装置は、前記ラフラシアンピラミッドネットワークを具現することができる。
【００６７】
すなわち、本発明による前記ラフラシアンピラミッドネットワークを用いた前記学習装置は、マスクレイヤをもってコンボリューションレイヤから出力されたエンコード済み特徴マップからエッジ部分を抽出させることによりバンドパス特徴マップを生成し、デファレンシャルレイヤをもって、前記エンコード済み特徴マップと前記バンドパス特徴マップとの間の差を利用して上位周波数バンドが取り除かれたデファレンシャルマップを生成するようにして、次のコンボリューションレイヤに前記デファレンシャル特徴マップを伝達する。これらの方法において、前記学習装置は、各コンボリューションレイヤから出力されたそれぞれのエンコード済み特徴マップから前記エッジ部分の情報を抽出する。前記エッジ部分の前記情報は、一つ以上のさらなる演算によって強化され得、前記デコンボリューションレイヤに伝達され得る。よって、前記デコンボリューションレイヤは、前記エッジ部分の前記情報を用いて復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）プロセスをより容易に実行する。本発明で提案する前記方法を通じては、前記エッジ部分の前記情報が前記デコード済み特徴マップではなく、前記エンコード済み特徴マップから抽出されるため、適切なエッジ部分を抽出することが可能である。
【００６８】
前記エッジ部分の、前記情報を利用した前記復元プロセスは、図２及び図３で示された前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第２デコンボリューションレイヤ（２００＿２）及び前記第（ｋ−１）合算レイヤ（５００＿（ｋ−１））ないし前記第１合算レイヤ（５００＿１）によって遂行される。  例えば、図４では示されなかったが、前記学習装置は（ｉ）第ｍ合算レイヤ（５００＿ｍ）をもって前記第ｍマスクレイヤ（３００＿ｍ）から出力された前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの（ｅｌｅｍｅｎｔ−ｗｉｓｅ）和を出力するようにし、（ｉｉ）第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと前記第（ｎ＋１）デコード済み特徴マップの前記要素ごとの（ｅｌｅｍｅｎｔ−ｗｉｓｅ）和に前記デコンボリューション演算を適用して第ｎデコード済み特徴マップを出力させる過程を順次に遂行することにより、前記復元プロセスを遂行する。
【００６９】
図５は、本発明のまた他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。図５で示された本発明のまた他の実施例による前記ラプラシアンピラミッドネットワークを学習するための前記ＣＮＮ基盤の前記学習装置は、図２または図３で示された前記ＣＮＮ基盤の前記学習装置と基本的に類似した構成を有するが、それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間の中間レイヤをさらに含む。たとえば、前記中間レイヤは、それぞれの前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）とそれぞれの前記第１デコンボリューションレイヤ（２００＿１）ないし前記第ｋデコンボリューションレイヤ（２００＿ｋ）との間に位置したそれぞれの第１中間レイヤ（６００＿１）ないし第ｋ中間レイヤ（６００＿ｋ）を含むものの、それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間に位置したそれぞれのｈ個の中間レイヤを含むことができる。前記中間レイヤのうちで少なくとも一つは、一つ以上の膨張コンボリューション演算を遂行する。この際、それぞれの前記中間レイヤのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定される。
【００７０】
仮に前記ｈ個の中間レイヤがさらに含まれる場合に、前記学習装置は、前記ｈ個の中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力された前記第１ないし前記第ｈバンドパス特徴マップをそれぞれ獲得してｈ個の中間特徴マップそれぞれを生成するようにする。そして、前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記ｈ個の中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記ｈ個の中間特徴マップを利用し、（ｉｉ）前記ｈ個の中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる。そして、前記学習装置は、前記第ｋコンボリューションレイヤと前記第ｋデコンボリューションレイヤとの間にさらなる第（ｈ＋１）中間レイヤを含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを生成し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達する。この際、前記中間演算は前記膨張コンボリューション演算であり得る。
【００７１】
例えば、図５の前記学習装置は、前記第ｍマスクレイヤ（３００＿ｍ）に対応する第ｍ中間レイヤ（６００＿ｍ）（図示せず）をもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを生成し、前記第ｍ中間レイヤ（６００＿ｍ）に対応する前記第ｎデコンボリューションレイヤ（２００＿ｎ）（図示せず）をもって、前記第（ｎ＋１）デコンボリューションレイヤ（２００＿（ｎ＋１）（図示せず）から出力された前記第（ｎ＋１）デコード済み特徴マップと前記第ｍ中間特徴マップの要素ごとの（ｅｌｅｍｅｎｔ−ｗｉｓｅ）和に前記デコンボリューション演算を適用するようにすることにより、前記第ｎデコード済み特徴マップを生成する。
【００７２】
そして、図２ないし図５で示された前記学習方法は、前記ＣＮＮのテスト方法においても適用され得る。参考として、下記の説明において混乱を避けるために、前記学習プロセスに関連する用語に「学習用」という単語が追加されており、テストプロセスに関連する用語に「テスト用」という単語が追加された。
【００７３】
つまり、少なくとも一つのテストイメージに対するセグメンテーションのための前記テスト方法は、（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、前記テストイメージが入力されると、テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；及び（ｂ）前記テスト装置が、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；を含む。
【００７４】
本発明による前記学習方法及び前記テスト方法は、自律走行自動車のレベル４及びレベル５を満足させるのに必要な道路障害物及び交通標識などのエッジを検出するのに遂行される。そして、イメージ内のテキスト部分をエッジ部分に強化して、ランドマーク及び道路表示だけでなく、交通標識がより正確に検出され得る。
【００７５】
本発明の技術分野における通常の技術者に理解され得るところであって、上記で説明されたイメージ、例えば、トレーニングイメージやテストイメージのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリー）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。また、前記学習装置及び前記テスト装置は、上述したプロセスを遂行するためのコンピュータ読取り可能なインストラクションを格納することができるメモリーをさらに含むことができる。一例として、プロセッサ、メモリ、メディアなどが一つのプロセッサに統合され得もする。
【００７６】
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリーなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００７７】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020119500.tif 000003
【図２】
2020119500.tif 000004
【図３】
2020119500.tif 000005
【図４】
2020119500.tif 000006
【図５】
2020119500.tif 000007