(57)【要約】【課題】近接障害物の下段ライン及び上段ラインを検出し、物体存在性を検出する学習方法及び学習装置を提供する。【解決手段】学習装置が、（ａ）第１ＣＮＮをもって第１エンコード済み特徴マップ及び第１デコード済み特徴マップを生成するようにし、第２ＣＮＮをもって第２エンコード済み特徴マップ及び第２デコード済み特徴マップを生成するようにする段階；（ｂ）前記第１及び第２デコード済み特徴マップを各々参照にして、前記下段ラインと前記上段ラインが列ごとにどこに位置するかを推定する第１及び第２障害物セグメンテーション結果を各々生成する段階；（ｃ）前記第１及び前記第２障害物セグメンテーション結果を参照にし、前記物体存在性を推定する段階；（ｄ）前記物体存在性と、これに対応する原本正解イメージを参照にしてロスを生成する段階；及び（ｆ）前記ロスをバックプロパゲーションして、前記ＣＮＮの前記パラメータを学習する段階；を含むことを特徴とする方法である。【選択図】図１１
2020068014.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの入力イメージから少なくとも一つの近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つの物体存在性（ｏｂｊｅｃｔｎｅｓｓ）を確認するためのＣＮＮのパラメータ学習（ｌｅａｒｎｉｎｇ）方法において、
（ａ）トレーニングイメージとして、前記入力イメージが獲得されると、学習装置が、（ｉ）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第１エンコード済み特徴マップから逐次的に少なくとも一つの第１デコード済み特徴マップを生成するようにして、（ｉｉ）第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第２エンコード済み特徴マップから逐次的に少なくとも一つの第２デコード済み特徴マップを生成するようにする段階；
（ｂ）前記第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記第１及び第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成された状態で、前記学習装置は、（ｉ）前記第１デコード済み特徴マップの中から少なくとも一つの特定第１デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記下段ライン各々が位置するものと推定される第１特定の行各々を示す、少なくとも一つの第１障害物セグメンテーション結果を生成し、  （ｉｉ）前記第２デコード済み特徴マップの中から少なくとも一つの特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記上段ライン各々が位置するものと推定される第２特定の行各々を示す、少なくとも一つの第２障害物セグメンテーション結果を生成する段階；
（ｃ）前記学習装置が、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、道路上の前記近接障害物に対応する前記物体存在性を判断する段階；
（ｄ）前記学習装置が、前記物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを算出すものの、前記原本正解イメージ各々は、前記列ごとに前記近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含む段階；及び
（ｆ）前記学習装置が、前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮの前記パラメータを学習する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｃ）段階で、
前記学習装置は、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果をもとに、前記道路の少なくとも一つの境界線を追加的に判断し、
前記（ｄ）段階で、
前記学習装置は、前記境界線及び前記物体存在性及びそれに該当する原本正解イメージを参照して前記ロスを算出することを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｃ）段階で、
前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記近接障害物各々の前記下段ライン各々が位置すると推定される前記第１特定の行各々と（ｉｉ）前記列ごとの前記近接障害物各々の前記上段ライン各々が位置すると推定される前記第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記学習装置が、前記入力イメージに前記境界線があると判断し、（ｉ）前記列ごとの前記第１特定の行各々と（ｉｉ）前記列ごとの前記第２特定の行各々の間の距離の差異各々が前記所定の閾値より大きければ、前記学習装置が、前記入力イメージの前記道路上に前記近接障害物に対応する前記物体存在性があると判断することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｂ）段階は、
（ｂ１）前記第１方向を第１間隔ずつ、前記第２方向を第２間隔ずつにして、前記第１及び第２デコード済み特徴マップを区画することで前記グリッドの各セルが生成されるとした場合、前記学習装置は、前記各々の列ごとに前記行各々の特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つの第１修正済み特徴マップ及び少なくとも一つの第２修正済み特徴マップを生成する段階；及び
（ｂ２）前記学習装置が、（ｉ）前記第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記第１障害物セグメンテーション結果を生成するものの、前記第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）する第１ソフトマックス演算によって生成され、（ｉｉ）前記第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記下段ライン各々からはじまって上に上りながら各々の前記近接障害物の前記上段ライン各々に対する推定位置各々を確認することで前記第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成される段階；
を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記各列は、前記第１方向に少なくとも一つのピクセルを含み、
前記各行は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果は、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記（ｂ）段階で、
コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むように第３障害物セグメンテーション結果が生成されるものの、前記コンカチネートされた特徴は、前記第１及び前記第２デコード済み特徴マップの特徴を利用して生成され、前記第３障害物セグメンテーション結果は、前記コンカチネートされた特徴の前記列ごとの前記行各々に対応される各値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする請求項１に記載の方法。
【請求項８】
少なくとも一つのテストイメージから、少なくとも一つのテスト用近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つのテスト用物体存在性を確認するためのＣＮＮをテストする方法において、
（ａ）学習装置が、（ｉ）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもってトレーニングイメージとして獲得された少なくとも一つの入力イメージから逐次的に少なくとも一つの学習用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記学習用第１エンコード済み特徴マップから逐次的に少なくとも一つの学習用第１デコード済み特徴マップを生成するようにして、第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの学習用第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記学習用第２エンコード済み特徴マップから逐次的に少なくとも一つの学習用第２デコード済み特徴マップを生成するようにするプロセス、（ｉｉ）前記学習用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記学習用第１デコード済み特徴マップ及び学習用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されるとした場合、前記学習用第１デコード済み特徴マップの中から少なくとも一つの学習用特定第１デコード済み特徴マップの少なくとも一つの学習用特徴を参照にして、前記列ごとに少なくとも一つの学習用近接障害物各々の下段ライン各々が位置するものと推定される学習用第１特定の行各々を示す、少なくとも一つの学習用第１障害物セグメンテーション結果を生成し、前記学習用第２デコード済み特徴マップの中から少なくとも一つの学習用特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記学習用近接障害物各々の前記上段ライン各々が位置すると推定される学習用第２特定の行各々を示す、少なくとも一つの学習用第２障害物セグメンテーション結果を生成するプロセス、（ｉｉｉ）前記学習用第１障害物セグメンテーション結果及び前記学習用第２障害物セグメンテーション結果を参照して、道路上の前記学習用近接障害物に対応する学習用物体存在性を推定するプロセス、（ｉｖ）前記学習用物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージ各々は、前記列ごとに前記学習用近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記学習用近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含むプロセス、及び（ｖ）前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮの前記パラメータを学習するプロセスを遂行した状態で、テスト装置が前記テストイメージを獲得する段階；
（ｂ）前記テスト装置が、（ｉ）前記第１ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第１エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第１デコード済み特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第２エンコード済み特徴マップを獲得し、前記第２ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第２エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第２デコード済み特徴マップを生成するようにする段階；
（ｃ）前記テスト用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記テスト用第１及び前記テスト用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されとした場合、前記テスト装置が、（ｉ）前記テスト用第１デコード済み特徴マップの中から少なくとも一つのテスト用特定第１デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定されるテスト用第１特定の行各々を示す、少なくとも一つのテスト用第１障害物セグメンテーション結果を生成し、（ｉｉ）前記テスト用第２デコード済み特徴マップの中から少なくとも一つのテスト用特定第２デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記上段ライン各々が位置するものと推定されるテスト用第２特定の行各々を示す、少なくとも一つのテスト用第２障害物セグメンテーション結果を生成する段階；及び
（ｄ）前記テスト用装置が、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、道路上の前記テスト用近接障害物に対応する前記テスト用物体存在性を推定する段階；
を含むことを特徴とする方法。
【請求項９】
前記（ｄ）段階で、
前記テスト装置は、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、前記道路の少なくとも一つのテスト用境界線を追加的に推定し、
前記（ｉｖ）プロセスで、
前記学習装置は、少なくとも一つの学習用境界線、前記学習用物体存在性及びそれに該当する原本正解イメージを参照して、前記ロスを生成することを特徴とする請求項８に記載の方法。
【請求項１０】
前記（ｄ）段階で、
前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定される前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用近接障害物各々の前記上段ライン各々が位置すると推定される前記テスト用第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記テスト装置が、前記テストイメージに前記テスト用境界線があると判断し、（ｉ）前記列ごとの前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用第２特定の行各々の間の距離の差異各々が、前記所定の閾値より大きければ、前記テスト装置が、前記テストイメージの前記道路上に前記テスト用近接障害物に対応される前記テスト用物体存在性があるものと判断することを特徴とする請求項９に記載の方法。
【請求項１１】
前記（ｃ）段階は、
（ｃ１）前記テスト用前記第１及び第２デコード済み特徴マップを、前記第１方向を第１間隔に、前記第２方向を第２間隔に区画することで、前記グリッドの各セルが生成されるとした場合、前記テスト装置は、前記各々の列ごとに前記行各々のテスト用特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つのテスト用第１修正済み特徴マップ及び少なくとも一つのテスト用第２修正済み特徴マップを生成する段階；
（ｃ２）前記テスト装置が、（ｉ）前記テスト用第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記テスト用近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記テスト用第１障害物セグメンテーション結果を生成するものの、前記テスト用第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第１ソフトマックス演算によって生成され、（ｉｉ）前記テスト用第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記上段ライン各々の推定位置各々を確認することで、前記テスト用第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成される段階；
を含むことを特徴とする請求項８に記載の方法。
【請求項１２】
前記列各々は、前記第１方向に少なくとも一つのピクセルを含み、
前記行各々は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする請求項８に記載の方法。
【請求項１３】
前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記学習用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、
前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果は、前記テストイメージがＮｃ個の行に分割された際、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする請求項８に記載の方法。
【請求項１４】
前記（ｃ）段階で、
テスト用コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むようにテスト用第３障害物セグメンテーション結果が生成されるものの、前記テスト用コンカチネートされた特徴は、前記テスト用第１及び前記第２デコード済み特徴マップのテスト用特徴を利用して生成され、前記テスト用第３障害物セグメンテーション結果は、前記テスト用コンカチネートされた特徴の前記列ごとの前記行各々に対応される各々の値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする請求項８に記載の方法。
【請求項１５】
少なくとも一つの入力イメージから、少なくとも一つの近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つの物体存在性を確認するためのＣＮＮのパラメータを学習する学習装置において、
前記入力イメージをトレーニングイメージとして獲得する通信部；及び
（Ｉ）（ｉ）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第１エンコード済み特徴マップから逐次的に少なくとも一つの第１デコード済み特徴マップを生成するようにして、（ｉｉ）第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第２エンコード済み特徴マップから逐次的に少なくとも一つの第２デコード済み特徴マップを生成するようにするプロセス、（ＩＩ）前記第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記第１及び第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成された状態で、（ｉ）前記第１デコード済み特徴マップの中から少なくとも一つの特定第１デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記下段ライン各々が位置するものと推定される第１特定の行各々を示す、少なくとも一つの第１障害物セグメンテーション結果を生成し、（ｉｉ）前記第２デコード済み特徴マップの中から少なくとも一つの特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記上段ライン各々が位置するものと推定される第２特定の行各々を示す、少なくとも一つの第２障害物セグメンテーション結果を生成するプロセス、（ＩＩＩ）前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、道路上の前記近接障害物に対応する前記物体存在性を判断するプロセス（ＩＶ）前記物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージ各々は、前記列ごとに前記近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含むプロセス、及び（Ｖ）前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮの前記パラメータを学習するプロセスを遂行するプロセッサ；
を含む学習装置。
【請求項１６】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果をもとに、前記道路の少なくとも一つの境界線を追加的に判断し、
前記（ＩＶ）プロセスで、
前記プロセッサは、前記境界線及び前記物体存在性及びそれに該当する原本正解イメージを参照して前記ロスを算出することを特徴とする請求項１５に記載の学習装置。
【請求項１７】
前記（ＩＩＩ）プロセスで、
前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記近接障害物各々の前記下段ライン各々が位置すると推定される前記第１特定の行各々と（ｉｉ）前記列ごとの前記近接障害物各々の前記上段ライン各々が位置すると推定される前記第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記プロセッサが、前記入力イメージに前記境界線があると判断し、（ｉ）前記列ごとの前記第１特定の行各々と（ｉｉ）前記列ごとの前記第２特定の行各々の間の距離の差異各々が前記所定の閾値より大きければ、前記プロセッサが、前記入力イメージの前記道路上に前記近接障害物に対応される前記物体存在性があると判断することを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記（ＩＩ）プロセスは、
（ＩＩ−１）前記第１方向を第１間隔ずつ、前記第２方向を第２間隔ずつにして、前記第１及び第２デコード済み特徴マップを区画することで前記グリッドの各セルが生成されるとした場合、前記各々の列ごとに前記行各々の特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つの第１修正済み特徴マップ及び少なくとも一つの第２修正済み特徴マップを生成するプロセス；及び
（ＩＩ−２）（ｉ）前記第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記第１障害物セグメンテーション結果を生成するものの、前記第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）する第１ソフトマックス演算によって生成され、（ｉｉ）前記第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記下段ライン各々からはじまって上に上りながら各々の前記近接障害物の前記上段ライン各々に対する推定位置各々を確認することで前記第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成されるプロセス；
を含むことを特徴とする請求項１５に記載の学習装置。
【請求項１９】
前記各列は、前記第１方向に少なくとも一つのピクセルを含み、
前記各行は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする請求項１５に記載の学習装置。
【請求項２０】
前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果は、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする請求項１５に記載の学習装置。
【請求項２１】
前記（ＩＩ）プロセスで、
コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むように第３障害物セグメンテーション結果が生成されるものの、前記コンカチネートされた特徴は、前記第１及び前記第２デコード済み特徴マップの特徴を利用して生成され、前記第３障害物セグメンテーション結果は、前記コンカチネートされた特徴の前記列ごとの前記行各々に対応される各値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする請求項１５に記載の学習装置。
【請求項２２】
少なくとも一つのテストイメージから、少なくとも一つのテスト用近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つのテスト用物体存在性を確認するためのＣＮＮをテストするテスト装置において、
学習装置が、（１）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもってトレーニングイメージとして獲得された少なくとも一つの入力イメージから逐次的に少なくとも一つの学習用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記学習用第１エンコード済み特徴マップから逐次的に少なくとも一つの学習用第１デコード済み特徴マップを生成するようにして、第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの学習用第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つの学習用デコンボリューションレイヤをもって前記学習用第２エンコード済み特徴マップから逐次的に少なくとも一つの学習用第２デコード済み特徴マップを生成するようにするプロセス、（２）前記学習用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記学習用第１及び学習用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されるとした場合、前記学習用第１デコード済み特徴マップの中から少なくとも一つの学習用特定第１デコード済み特徴マップの少なくとも一つの学習用特徴を参照にして、前記列ごとに少なくとも一つの学習用近接障害物各々の下段ライン各々が位置すると推定される学習用第１特定の行各々を示す、少なくとも一つの学習用第１障害物セグメンテーション結果を生成し、前記学習用第２デコード済み特徴マップの中から少なくとも一つの学習用特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記学習用近接障害物各々の前記上段ライン各々が位置すると推定される学習用第２特定の行各々を示す、少なくとも一つの学習用第２障害物セグメンテーション結果を生成するプロセス、（３）前記学習用第１障害物セグメンテーション結果及び前記学習用第２障害物セグメンテーション結果を参照して、道路上の前記学習用近接障害物に対応する学習用物体存在性を推定するプロセス、（４）前記学習用物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージ各々は、前記列ごとに前記学習用近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記学習用近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含むプロセス、及び（５）前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習するプロセスを遂行した状態で、テスト装置が前記テストイメージを獲得する通信部；及び
（Ｉ）（ｉ）前記第１ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第１エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第１デコード済み特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第２エンコード済み特徴マップを獲得し、前記第２ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第２エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第２デコード済み特徴マップを生成するようにするプロセス；（ＩＩ）前記テスト用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記テスト用第１及び前記テスト用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されとした場合、（ｉ）前記テスト用第１デコード済み特徴マップの中から少なくとも一つのテスト用特定第１デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定されるテスト用第１特定の行各々を示す、少なくとも一つのテスト用第１障害物セグメンテーション結果を生成し、（ｉｉ）前記テスト用第２デコード済み特徴マップの中から少なくとも一つのテスト用特定第２デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記上段ライン各々が位置するものと推定されるテスト用第２特定の行各々を示す、少なくとも一つのテスト用第２障害物セグメンテーション結果を生成するプロセス；及び（ＩＩＩ）前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、道路上の前記テスト用近接障害物に対応する前記テスト用物体存在性を推定するプロセスを遂行するプロセッサ；
を含むテスト装置。
【請求項２３】
前記（ＩＩＩ）プロセスで、
前記プロセッサは、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、前記道路の少なくとも一つのテスト用境界線を追加的に推定し、
前記（４）プロセスで、
前記学習装置は、少なくとも一つの学習用境界線、前記学習用物体存在性及びそれに該当する原本正解イメージを参照して、前記ロスを生成することを特徴とする請求項２２に記載のテスト装置。
【請求項２４】
前記（ＩＩＩ）プロセスで、
前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定される前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用近接障害物各々の前記上段ライン各々が位置すると推定される前記テスト用第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記プロセッサが、前記テストイメージに前記テスト用境界線があると判断し、（ｉ）前記列ごとの前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用第２特定の行各々の間の距離の差異各々が、前記所定の閾値より大きければ、前記プロセッサが、前記テストイメージの前記道路上に前記テスト用近接障害物に対応される前記テスト用物体存在性があるものと判断することを特徴とする請求項２３に記載のテスト装置。
【請求項２５】
前記（ＩＩ）プロセスは、
（ＩＩ−１）前記テスト用前記第１及び第２デコード済み特徴マップを、前記第１方向を第１間隔に、前記第２方向を第２間隔に区画することで、前記グリッドの各セルが生成されるとした場合、前記各々の列ごとに前記行各々のテスト用特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つのテスト用第１修正済み特徴マップ及び少なくとも一つのテスト用第２修正済み特徴マップを生成するプロセス；
（ＩＩ−２）（ｉ）前記テスト用第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記テスト用近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記テスト用第１障害物セグメンテーション結果を生成するものの、前記テスト用第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第１ソフトマックス演算によって生成され、（ｉｉ）前記テスト用第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記上段ライン各々の推定位置各々を確認することで、前記テスト用第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成されるプロセス；
を含むことを特徴とする請求項２２に記載のテスト装置。
【請求項２６】
前記列各々は、前記第１方向に少なくとも一つのピクセルを含み、
前記行各々は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする請求項２２に記載のテスト装置。
【請求項２７】
前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記学習用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、
前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果は、前記テストイメージがＮｃ個の行に分割された際、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする請求項２２に記載のテスト装置。
【請求項２８】
前記（ＩＩ）プロセスは、
テスト用コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むようにテスト用第３障害物セグメンテーション結果が生成されるものの、前記テスト用コンカチネートされた特徴は、前記テスト用第１及び前記第２デコード済み特徴マップのテスト用特徴を利用して生成され、前記テスト用第３障害物セグメンテーション結果は、前記テスト用コンカチネートされた特徴の前記列ごとの前記行各々に対応される各々の値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする請求項２２に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも一つの入力イメージから少なくとも一つの近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つの物体存在性（ｏｂｊｅｃｔｎｅｓｓ）を確認するためのＣＮＮのパラメータ学習（ｌｅａｒｎｉｎｇ）方法に関し；より詳細には、前記入力イメージから前記近接障害物の前記下段ライン及び前記上段ラインを検出して、前記物体存在性を確認するためのＣＮＮのパラメータ学習方法において、（ａ）トレーニングイメージとして、前記入力イメージが獲得されると、（ｉ）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第１エンコード済み特徴マップから逐次的に少なくとも一つの第１デコード済み特徴マップを生成するようにして、（ｉｉ）第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第２エンコード済み特徴マップから逐次的に少なくとも一つの第２デコード済み特徴マップを生成するようにする段階；（ｂ）前記第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記第１及び第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成された状態で（ｉ）前記第１デコード済み特徴マップの中から少なくとも一つの特定第１デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記下段ライン各々が位置するものと推定される第１特定の行各々を示す、少なくとも一つの第１障害物セグメンテーション結果を生成し、（ｉｉ）前記第２デコード済み特徴マップの中から少なくとも一つの特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記上段ライン各々が位置するものと推定される第２特定の行各々を示す、少なくとも一つの第２障害物セグメンテーション結果を生成する段階；（ｃ）前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、道路上の前記近接障害物に対応する前記物体存在性を判断する段階；（ｄ）前記物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージ各々は、前記列ごとに前記近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含む段階；及び（ｆ）前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮの前記パラメータを学習する段階；を含むことを特徴とする方法及びこれを利用した学習装置、テスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）は、モノやデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。保存されている犬の写真と似たような写真が入力されると、これを犬の写真だとコンピュータが分類するようにしたのである。
【０００３】
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
【０００４】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。  
【０００５】
図１は従来のＣＮＮを用いた一般的なセグメンテーションの従来のプロセスを簡略的に示した図面である。
【０００６】
図１を参照すれば、従来の車線検出方法では、学習装置が、入力イメージの入力を受けて、複数のコンボリューションレイヤで数回のコンボリューション演算とＲｅＬＵなどの非線形演算を遂行して特徴マップを生成し、前記特徴マップの最後のマップに対して複数のデコンボリューションレイヤで複数回のデコンボリューション演算及びソフトマックス（ＳｏｆｔＭａｘ）演算を行うことでセグメンテーション結果を生成する。
【０００７】
一方、従来の道路セグメンテーション方法では、前記入力イメージからすべてのピクセルをセグメンテーションして、すべてのピクセルを見てこのピクセルが道路に該当するピクセルか、道路に該当しないピクセルかを区別しなければならなかった。この方法では、すべてのピクセルに対して判断を行うため演算量が多いという問題点が存在する。
【０００８】
一方、自動車の自律走行のために前記道路セグメンテーションをする際には、前記入力イメージから全ての物体や車線上の全ての物体をセグメンテーションする必要はなく、自律走行の妨げとなる障害物（ｏｂｓｔａｃｌｅ）だけを検出すれば充分である。
【０００９】
従って、入力イメージから前記障害物のみを検出する新たな手法の提示が求められている。
【００１０】
併せて、前記入力イメージから障害物（ｏｂｓｔａｃｌｅ）を一つのラインのみで探すのではなく、近接障害物に対応する物体存在性を少ない演算量で探し得る方法の提示が求められている。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、前述した問題点をすべて解決することをその目的とする。
【００１２】
また、本発明は、自動車の自律走行のために、障害物を検出する新たな手法を提供することをまたの目的とする。
【００１３】
また、本発明は、入力イメージ内の全てのピクセルを検討することなく、少ない演算量で前記障害物の位置を素早く検出し得る方法を提示することをまた他の目的とする。
【００１４】
また、本発明は、少ない演算量で、道路の境界線（ｂｏｕｎｄａｒｙ）と前記の道路上に存在する近接障害物のオ物体存在性を検出し得る方法を提示することをまた他の目的とする。
【課題を解決するための手段】
【００１５】
本発明の一態様によれば、少なくとも一つの入力イメージから少なくとも一つの近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つの物体存在性（ｏｂｊｅｃｔｎｅｓｓ）を確認するためのＣＮＮのパラメータ学習（ｌｅａｒｎｉｎｇ）方法において、（ａ）トレーニングイメージとして、前記入力イメージが獲得されると、学習装置が、（ｉ）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第１エンコード済み特徴マップから逐次的に少なくとも一つの第１デコード済み特徴マップを生成するようにして、（ｉｉ）第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第２エンコード済み特徴マップから逐次的に少なくとも一つの第２デコード済み特徴マップを生成するようにする段階；（ｂ）前記第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記第１及び第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成された状態で、前記学習装置は、（ｉ）前記第１デコード済み特徴マップの中から少なくとも一つの特定第１デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記下段ライン各々が位置するものと推定される第１特定の行各々を示す、少なくとも一つの第１障害物セグメンテーション結果を生成し、（ｉｉ）前記第２デコード済み特徴マップの中から少なくとも一つの特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記上段ライン各々が位置するものと推定される第２特定の行各々を示す、少なくとも一つの第２障害物セグメンテーション結果を生成する段階；（ｃ）前記学習装置が、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、道路上の前記近接障害物に対応する前記物体存在性を判断する段階；（ｄ）前記学習装置が、前記物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージ各々は、前記列ごとに前記近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含む段階；及び（ｆ）前記学習装置が、前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮの前記パラメータを学習する段階；を含むことを特徴とする。
【００１６】
一例として、  前記（ｃ）段階で、前記学習装置は、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果をもとに、前記道路の少なくとも一つの境界線を追加的に判断し、前記（ｄ）段階で、前記学習装置は、前記境界線及び前記物体存在性及びそれに該当する原本正解イメージを参照して前記ロスを算出することを特徴とする。
【００１７】
一例として、前記（ｃ）段階で、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記近接障害物各々の前記下段ライン各々が位置すると推定される前記第１特定の行各々と（ｉｉ）前記列ごとの前記近接障害物各々の前記上段ライン各々が位置すると推定される前記第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記学習装置が、前記入力イメージに前記境界線があると判断し、（ｉ）前記列ごとの前記第１特定の行各々と（ｉｉ）前記列ごとの前記第２特定の行各々の間の距離の差異各々が前記所定の閾値より大きければ、前記学習装置が、前記入力イメージの前記道路上に前記近接障害物に対応する前記物体存在性があると判断することを特徴とする。
【００１８】
一例として、前記（ｂ）段階は、（ｂ１）前記第１方向を第１間隔ずつ、前記第２方向を第２間隔ずつにして、前記第１及び第２デコード済み特徴マップを区画することで前記グリッドの各セルが生成されるとした場合、前記学習装置が、前記各々の列ごとに前記行各々の特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つの第１修正済み特徴マップ及び少なくとも一つの第２修正済み特徴マップを生成する段階；及び（ｂ２）前記学習装置が、（ｉ）前記第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記第１障害物セグメンテーション結果を生成するものの、前記第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）する第１ソフトマックス演算によって生成され、（ｉｉ）前記第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記下段ライン各々からはじまって上に上りながら各々の前記近接障害物の前記上段ライン各々に対する推定位置各々を確認することで前記第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成される段階；を含むことを特徴とする。
【００１９】
一例として、前記各列は、前記第１方向に少なくとも一つのピクセルを含み、前記各行は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする。
【００２０】
一例として、前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果は、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする。
【００２１】
一例として、前記（ｂ）段階で、コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むように第３障害物セグメンテーション結果が生成されるものの、前記コンカチネートされた特徴は、前記第１及び前記第２デコード済み特徴マップの特徴を利用して生成され、前記第３障害物セグメンテーション結果は、前記コンカチネートされた特徴の前記列ごとの前記行各々に対応される各値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする。
【００２２】
本発明の他の態様によれば、少なくとも一つのテストイメージから、少なくとも一つのテスト用近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つのテスト用物体存在性を確認するためのＣＮＮをテストする方法において、（ａ）学習装置が、（ｉ）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもってトレーニングイメージとして獲得された少なくとも一つの入力イメージから逐次的に少なくとも一つの学習用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記学習用第１エンコード済み特徴マップから逐次的に少なくとも一つの学習用第１デコード済み特徴マップを生成するようにして、第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの学習用第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記学習用第２エンコード済み特徴マップから逐次的に少なくとも一つの学習用第２デコード済み特徴マップを生成するようにするプロセス、（ｉｉ）前記学習用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記学習用第１デコード済み特徴マップ及び学習用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されるとした場合、前記学習用第１デコード済み特徴マップの中から少なくとも一つの学習用特定第１デコード済み特徴マップの少なくとも一つの学習用特徴を参照にして、前記列ごとに少なくとも一つの学習用近接障害物各々の下段ライン各々が位置するものと推定される学習用第１特定の行各々を示す、少なくとも一つの学習用第１障害物セグメンテーション結果を生成し、前記学習用第２デコード済み特徴マップの中から少なくとも一つの学習用特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記学習用近接障害物各々の前記上段ライン各々が位置すると推定される学習用第２特定の行各々を示す、少なくとも一つの学習用第２障害物セグメンテーション結果を生成するプロセス、（ｉｉｉ）前記学習用第１障害物セグメンテーション結果及び前記学習用第２障害物セグメンテーション結果を参照して、道路上の前記学習用近接障害物に対応する学習用物体存在性を推定するプロセス、（ｉｖ）前記学習用物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを生成するものの、前記原本正解イメージ各々は、前記列ごとに前記学習用近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記学習用近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含むプロセス、及び（ｖ）前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記ＣＮＮの前記パラメータを学習するプロセスを遂行した状態で、テスト装置が前記テストイメージを獲得する段階；（ｂ）前記テスト装置が、（ｉ）前記第１ＣＮＮの前記コンボリューションレイヤをもって前記テ���トイメージから逐次的に少なくとも一つのテスト用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第１エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第１デコード済み特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第２エンコード済み特徴マップを獲得し、前記第２ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第２エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第２デコード済み特徴マップを生成するようにする段階；（ｃ）前記テスト用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記テスト用第１及び前記テスト用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されとした場合、前記テスト装置が、（ｉ）前記テスト用第１デコード済み特徴マップの中から少なくとも一つのテスト用特定第１デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定されるテスト用第１特定の行各々を示す、少なくとも一つのテスト用第１障害物セグメンテーション結果を生成し、（ｉｉ）前記テスト用第２デコード済み特徴マップの中から少なくとも一つのテスト用特定第２デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記上段ライン各々が位置するものと推定されるテスト用第２特定の行各々を示す、少なくとも一つのテスト用第２障害物セグメンテーション結果を生成する段階；及び（ｄ）前記テスト用装置が、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、道路上の前記テスト用近接障害物に対応する前記テスト用物体存在性を推定する段階；を含むことを特徴とする。
【００２３】
一例として、  前記（ｄ）段階で、前記テスト装置は、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、前記道路の少なくとも一つのテスト用境界線を追加的に推定し、前記（ｉｖ）プロセスで、前記学習装置は、少なくとも一つの学習用境界線、前記学習用物体存在性及びそれに該当する原本正解イメージを参照して、前記ロスを生成することを特徴とする。
【００２４】
一例として、前記（ｄ）段階で、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定される前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用近接障害物各々の前記上段ライン各々が位置すると推定される前記テスト用第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記テスト装置が、前記テストイメージに前記テスト用境界線があると判断し、（ｉ）前記列ごとの前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用第２特定の行各々の間の距離の差異各々が、前記所定の閾値より大きければ、前記テスト装置が、前記テストイメージの前記道路上に前記テスト用近接障害物に対応される前記テスト用物体存在性があるものと判断することを特徴とする。
【００２５】
一例として、  前記（ｃ）段階は、（ｃ１）前記テスト用前記第１及び第２デコード済み特徴マップを、前記第１方向を第１間隔に、前記第２方向を第２間隔に区画することで、前記グリッドの各セルが生成されるとした場合、前記テスト装置は、前記各々の列ごとに前記行各々のテスト用特徴各々をチャネル方向へコンカチネートして、少なくとも一つのテスト用第１修正済み特徴マップ及び少なくとも一つのテスト用第２修正済み特徴マップを生成する段階；（ｃ２）前記テスト装置が、（ｉ）前記テスト用第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記テスト用近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記テスト用第１障害物セグメンテーション結果を生成するものの、前記テスト用第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第１ソフトマックス演算によって生成され、（ｉｉ）前記テスト用第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記上段ライン各々の推定位置各々を確認することで、前記テスト用第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成される段階；を含むことを特徴とする。
【００２６】
一例として、前記列各々は、前記第１方向に少なくとも一つのピクセルを含み、前記行各々は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする。
【００２７】
一例として、前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記学習用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果は、前記テストイメージがＮｃ個の行に分割された際、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする。
【００２８】
一例として、前記（ｃ）段階で、テスト用コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むようにテスト用第３障害物セグメンテーション結果が生成されるものの、前記テスト用コンカチネートされた特徴は、前記テスト用第１及び前記第２デコード済み特徴マップのテスト用特徴を利用して生成され、前記テスト用第３障害物セグメンテーション結果は、前記テスト用コンカチネートされた特徴の前記列ごとの前記行各々に対応される各々の値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする。
【００２９】
本発明のまた他の態様によれば、少なくとも一つの入力イメージから、少なくとも一つの近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つの物体存在性を確認するためのＣＮＮのパラメータを学習する学習装置において、前記入力イメージをトレーニングイメージとして獲得する通信部；及び（Ｉ）（ｉ）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第１エンコード済み特徴マップから逐次的に少なくとも一つの第１デコード済み特徴マップを生成するようにして、（ｉｉ）第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記第２エンコード済み特徴マップから逐次的に少なくとも一つの第２デコード済み特徴マップを生成するようにするプロセス、（ＩＩ）前記第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記第１及び第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成された状態で、（ｉ）前記第１デコード済み特徴マップの中から少なくとも一つの特定第１デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記下段ライン各々が位置するものと推定される第１特定の行各々を示す、少なくとも一つの第１障害物セグメンテーション結果を生成し、（ｉｉ）前記第２デコード済み特徴マップの中から少なくとも一つの特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記上段ライン各々が位置するものと推定される第２特定の行各々を示す、少なくとも一つの第２障害物セグメンテーション結果を生成するプロセス、（ＩＩＩ）前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、道路上の前記近接障害物に対応する前記物体存在性を判断するプロセス、（ＩＶ）前記物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージ各々は、前記列ごとに前記近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含むプロセス、及び（Ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習するプロセスを遂行するプロセッサ；を含むことを特徴とする。
【００３０】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果をもとに、前記道路の少なくとも一つの境界線を追加的に判断し、前記（ＩＶ）プロセスで、前記プロセッサは、前記境界線及び前記物体存在性及びそれに該当する原本正解イメージを参照して前記ロスを算出することを特徴とする。
【００３１】
一例として、前記（ＩＩＩ）プロセスで、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記近接障害物各々の前記下段ライン各々が位置すると推定される前記第１特定の行各々と（ｉｉ）前記列ごとの前記近接障害物各々の前記上段ライン各々が位置すると推定される前記第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記プロセッサが、前記入力イメージに前記境界線があると判断し、（ｉ）前記列ごとの前記第１特定の行各々と（ｉｉ）前記列ごとの前記第２特定の行各々の間の距離の差異各々が前記所定の閾値より大きければ、前記プロセッサが、前記入力イメージの前記道路上に前記近接障害物に対応される前記物体存在性があると判断することを特徴とする。
【００３２】
一例として、前記（ＩＩ）プロセスは、（ＩＩ−１）前記第１方向を第１間隔ずつ、前記第２方向を第２間隔ずつにして、前記第１及び第２デコード済み特徴マップを区画することで前記グリッドの各セルが生成されるとした場合、前記各々の列ごとに前記行各々の特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つの第１修正済み特徴マップ及び少なくとも一つの第２修正済み特徴マップを生成するプロセス；及び（ＩＩ−２）（ｉ）前記第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記第１障害物セグメンテーション結果を生成するものの、前記第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）する第１ソフトマックス演算によって生成され、（ｉｉ）前記第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記下段ライン各々からはじまって上に上りながら各々の前記近接障害物の前記上段ライン各々に対する推定位置各々を確認することで前記第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成されるプロセス；を含むことを特徴とする。
【００３３】
一例として、前記各列は、前記第１方向に少なくとも一つのピクセルを含み、前記各行は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする。
【００３４】
一例として、前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、前記第１障害物セグメンテーション結果及び前記第２障害物セグメンテーション結果は、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする。
【００３５】
一例として、前記（ＩＩ）プロセスで、コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むように第３障害物セグメンテーション結果が生成されるものの、前記コンカチネートされた特徴は、前記第１及び前記第２デコード済み特徴マップの特徴を利用して生成され、前記第３障害物セグメンテーション結果は、前記コンカチネートされた特徴の前記列ごとの前記行各々に対応される各値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする。
【００３６】
本発明のまた他の態様によれば、少なくとも一つのテストイメージから、少なくとも一つのテスト用近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つのテスト用物体存在性を確認するためのＣＮＮをテストするテスト装置において、学習装置が（１）第１ＣＮＮの少なくとも一つのコンボリューションレイヤをもってトレーニングイメージとして獲得された少なくとも一つの入力イメージから逐次的に少なくとも一つの学習用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記学習用第１エンコード済み特徴マップから逐次的に少なくとも一つの学習用第１デコード済み特徴マップを生成するようにして、第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの学習用第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つの学習用デコンボリューションレイヤをもって前記学習用第２エンコード済み特徴マップから逐次的に少なくとも一つの学習用第２デコード済み特徴マップを生成するようにするプロセス、（２）前記学習用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記学習用第１及び学習用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されるとした場合、前記学習用第１デコード済み特徴マップの中から少なくとも一つの学習用特定第１デコード済み特徴マップの少なくとも一つの学習用特徴を参照にして、前記列ごとに少なくとも一つの学習用近接障害物各々の下段ライン各々が位置するものと推定される学習用第１特定の行各々を示す、少なくとも一つの学習用第１障害物セグメンテーション結果を生成し、前記学習用第２デコード済み特徴マップの中から少なくとも一つの学習用特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記学習用近接障害物各々の前記上段ライン各々が位置すると推定される学習用第２特定の行各々を示す、少なくとも一つの学習用第２障害物セグメンテーション結果を生成するプロセス、（３）前記学習用第１障害物セグメンテーション結果及び前記学習用第２障害物セグメンテーション結果を参照して、道路上の前記学習用近接障害物に対応する学習用物体存在性を推定するプロセス、（４）前記学習用物体存在性とそれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージを参照して少なくとも一つのロスを生成するものの、前記原本正解イメージ各々は、前記列ごとに前記学習用近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記学習用近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含むプロセス、及び（５）前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習するプロセスを遂行した状態で、テスト装置が前記テストイメージを獲得する通信部；及び（Ｉ）（ｉ）前記第１ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第１エンコード済み特���マップを生成するようにし、前記第１ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第１エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第１デコード済み特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第２エンコード済み特徴マップを獲得し、前記第２ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第２エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第２デコード済み特徴マップを生成するようにするプロセス；（ＩＩ）前記テスト用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記テスト用第１及び前記テスト用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されとした場合、（ｉ）前記テスト用第１デコード済み特徴マップの中から少なくとも一つのテスト用特定第１デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定されるテスト用第１特定の行各々を示す、少なくとも一つのテスト用第１障害物セグメンテーション結果を生成し、（ｉｉ）前記テスト用第２デコード済み特徴マップの中から少なくとも一つのテスト用特定第２デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記上段ライン各々が位置するものと推定されるテスト用第２特定の行各々を示す、少なくとも一つのテスト用第２障害物セグメンテーション結果を生成するプロセス；及び（ＩＩＩ）前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、道路上の前記テスト用近接障害物に対応する前記テスト用物体存在性を推定するプロセスを遂行するプロセッサ；を含むことを特徴とする。
【００３７】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、前記道路の少なくとも一つのテスト用境界線を追加的に推定し、前記（４）プロセスで、前記学習装置は、少なくとも一つの学習用境界線、前記学習用物体存在性及びそれに該当する原本正解イメージを参照して、前記ロスを生成することを特徴とする。
【００３８】
一例として、前記（ＩＩＩ）プロセスで、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、（ｉ）前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定される前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用近接障害物各々の前記上段ライン各々が位置すると推定される前記テスト用第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記プロセッサが、前記テストイメージに前記テスト用境界線があると判断し、（ｉ）前記列ごとの前記テスト用第１特定の行各々と（ｉｉ）前記列ごとの前記テスト用第２特定の行各々の間の距離の差異各々が、前記所定の閾値より大きければ、前記プロセッサが、前記テストイメージの前記道路上に前記テスト用近接障害物に対応される前記テスト用物体存在性があるものと判断することを特徴とする。
【００３９】
一例として、前記（ＩＩ）プロセスは、（ＩＩ−１）前記テスト用前記第１及び第２デコード済み特徴マップを、前記第１方向を第１間隔に、前記第２方向を第２間隔に区画することで、前記グリッドの各セルが生成されるとした場合、前記各々の列ごとに前記行各々のテスト用特徴各々をチャネル方向へコンカチネートして、少なくとも一つのテスト用第１修正済み特徴マップ及び少なくとも一つのテスト用第２修正済み特徴マップを生成するプロセス；（ＩＩ−２）（ｉ）前記テスト用第１修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、各々の前記テスト用近接障害物の前記下段ライン各々に対する推定位置各々を確認することにより、前記テスト用第１障害物セグメンテーション結果を生成するものの、前記テスト用第１障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第１ソフトマックス演算によって生成され、（ｉｉ）前記テスト用第２修正済み特徴マップの前記列ごとにコンカチネートされたチャネルにおいて、前記上段ライン各々の推定位置各々を確認することで、前記テスト用第２障害物セグメンテーション結果を生成するものの、前記第２障害物セグメンテーション結果は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする第２ソフトマックス演算によって生成されるプロセス；を含むことを特徴とする。
【００４０】
一例として、前記列各々は、前記第１方向に少なくとも一つのピクセルを含み、前記行各々は、前記第２方向に少なくとも一つのピクセルを含むことを特徴とする。
【００４１】
一例として、前記原本正解イメージは、前記入力イメージがＮｃ個の行に分割された際、前記列ごとに前記学習用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に実際に位置する行を示す情報を含み、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果は、前記テストイメージがＮｃ個の行に分割された際、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行の中に位置すると推定される行を示す情報を含むことを特徴とする。
【００４２】
一例として、前記（ＩＩ）プロセスは、テスト用コンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する前記第１及び前記第２特定の行の情報を含むようにテスト用第３障害物セグメンテーション結果が生成されるものの、前記テスト用コンカチネートされた特徴は、前記テスト用第１及び前記第２デコード済み特徴マップのテスト用特徴を利用して生成され、前記テスト用第３障害物セグメンテーション結果は、前記テスト用コンカチネートされた特徴の前記列ごとの前記行各々に対応される各々の値を各々ノーマルライジングする第３ソフトマックス演算によって生成されることを特徴とする。
【発明の効果】
【００４３】
本発明によれば、次のような効果がある。
【００４４】
本発明は、グリッドの列ごとに近接障害物がどこに位置するかを検出し、自律走行自動車が走行し得る適切なルートを決定し得る効果がある。
【００４５】
また、本発明は、入力イメージ内の全てのピクセルを検討しなくても、少ない演算量で前記近接障害物を検出し得る効果がある。
【００４６】
また、本発明は、少ない演算量でも道路の境界線（ｂｏｕｎｄａｒｙ）と前記近接障害物の物体存在性を検出するための方法を提供し得る効果がある。
【図面の簡単な説明】
【００４７】
【図１】従来のＣＮＮを用いて一般的なセグメンテーションの従来のプロセスを簡略的に示した図面である。
【図２】本発明に係る近接障害物検出のためのＣＮＮの学習方法を示したフローチャートである。
【図３】本発明に係る前記近接障害物検出のための前記ＣＮＮの学習方法を説明するために入力イメージの演算プロセスを例示的に示した図面である。
【図４】本発明に係る前記近接障害物検出のための修正プロセスを簡略的に表した図面である。
【図５】本発明に係る前記近接障害物検出のための前記入力イメージ及びこれに対応する原本正解イメージを例示的に示した図面である。
【図６】本発明に係る前記近接障害物検出のための前記ＣＮＮのテスト方法を説明するために前記入力イメージの演算プロセスを例示的に示した図面である。
【図７ａ】従来の障害物検出結果を簡略的に示す図面である。
【図７ｂ】本発明に係る障害物の検出結果を簡略的に示した図面である。
【図７ｃ】本発明に係る障害物の検出結果を簡略的に示した図面である。
【図８】本発明に係る少なくとも一つの境界線及び少なくとも一つの物体存在性を検出するプロセスを簡略的に示したフローチャートである。
【図９】本発明の一実施例による前記境界線及び前記物体存在性検出をための前記ＣＮＮのネットワーク構成を示した図面である。
【図１０】本発明の他の実施例による前記境界線及び物体存在性検出のための前記ＣＮＮのネットワーク構成を示した図面である。
【図１１】本発明によって前記障害物の下段ライン及び上段ラインの推定位置を参照にして前記境界線及び前記物体存在性を推定するプロセスを簡略的に示した図面である。
【図１２】本発明によって獲得した前記入力イメージの前記境界線及び前記物体存在性を含む前記障害物検出の例を簡略的に示した図面である。
【発明を実施するための形態】
【００４８】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４９】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【００５０】
本発明は、速くて少ない演算により高解像度のイメージから近接障害物を検出できるアルゴリズムを開発して提示された技術である。本発明の技術に係る前記近接障害物の検出方法は、入力イメージから道路と少なくとも一つの障害物の間の境界を見つけることを目標とする。このために、前記入力イメージの行方向を第１方向、列方向を第２方向とした場合、前記第１方向に第１間隔ずつ区画して複数の列を形成し、前記第２方向に第２間隔ずつ区画することで複数の行を形成した結果、グリッドが生成され得る。前記各々の列をこれに該当する前記グリッドの一番低いセルから始まって前記第２方向へ確認することで前記近接障害物が各々存在すると推定される前記各々の列に対して特定の行の情報を用いて前記近接障害物の道路上の位置を検出するものと言えるであろう。また、本発明は、（ｉ）高解像度情報を利用するマルチロス（Ｍｕｌｔｉ−ｌｏｓｓ）学習プロセス及び（ｉｉ）低解像度特徴だけを利用するテストプロセスによって演算量を減らし得るようにする。
【００５１】
図２は、本発明に係る前記近接障害物検出のためのＣＮＮの学習方法を示したフローチャートである。図３は本発明に係る前記近接障害物検出のための前記ＣＮＮの前記学習方法を説明するために前記入力イメージの演算プロセスを例示的に示した図面である。
【００５２】
図２及び図３を参照して、本発明に係る前記近接障害物検出のための前記ＣＮＮの前記学習方法を具体的に説明すると次の通りである。
【００５３】
本発明に係る前記近接障害物検出プロセスは、少なくとも一つの入力イメージからエンコード済み特徴マップ及びデコード済み特徴マップを生成する段階Ｓ０１から始まる。前記Ｓ０１段階では、学習装置がトレーニングイメージとして前記イメージを受信すると、前記学習装置は、第１ないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１エンコード済み特徴マップないし第ｎエンコード済み特徴マップを各々生成するようにする。ここで、前記第１ないし第ｎコンボリューションレイヤは前記近接障害物検出用に用いられる前記ＣＮＮに含まれる。また、前記近接障害物検出用に用いられる前記ＣＮＮは、前記第１ないし第ｎコンボリューションレイヤに対応する第ｎないし第１デコンボリューションレイヤを含むが、前記学習装置は前記第ｎないし第１デコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップから逐次的に第ｎデコード済み特徴マップないし第１デコード済み特徴マップを生成するようにする。
【００５４】
例えば、図３を参照すれば、前記近接障害物検出用に用いられる前記ＣＮＮは、前記第１コンボリューションレイヤないし第５コンボリューションレイヤ（１１ないし１５）及び第５デコンボリューションレイヤないし前記第１デコンボリューションレイヤ（１６ないし２０）を含み得り、前記学習装置は、３ｃｈ、６４０×２５６サイズの前記トレーニングイメージ１００を受信し得る。この入力イメージは、前記第１コンボリューションレイヤ１１に入力され、８ｃｈ、３２０×１２８サイズの前記第１エンコード済み特徴マップ１１０が生成され、第２コンボリューションレイヤ１２に入力され、１６ｃｈ、１６０×６４サイズの第２エンコード済み特徴マップ１２０が生成され、第３コンボリューションレイヤ１３に入力され、３２ｃｈ、８０×３２サイズの第３エンコード済み特徴マップ１３０が生成され、第４コンボリューションレイヤ１４に入力され、６４ｃｈ、４０×１６サイズの第４エンコード済み特徴マップ１４０が生成され、第５コンボリューションレイヤ１５に入力され、１２８ｃｈ、２０×８サイズの第５エンコード済み特徴マップ１５０が生成される。
【００５５】
このように、前記コンボリューションレイヤは、前記入力イメージまたは特徴マップのチャネルは増やし、横及び縦のサイズは小さくして、前記エンコード済み特徴マップを生成する機能をする。例えば、前記第２コンボリューションレイヤ１２ないし前記第５コンボリューションレイヤ１５は、前記入力される特徴マップの前記チャネルは２倍に増やし、横や縦サイズは各々１／２に減らして前記エンコード済み特徴マップを生成する。
【００５６】
一方、前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップの横サイズを所定倍数に拡大し、第ｎデコード済特徴マップを生成する。例えば、図３に示した例で、前記学習装置は、前記第５デコンボリューションレイヤ１６をもって、１２８ｃｈ、２０×８サイズの前記第５エンコード済み特徴マップ１５０から、６４ｃｈ、４０×８サイズの第５デコード済特徴マップ１６０を生成する。
【００５７】
一般的にデコンボリューションレイヤは、チャネル数は減らし、横及び縦サイズは大きくするが、本発明に係る前記第ｎデコンボリューションレイヤは、前記第ｎエンコード済み特徴マップのチャネルを減らして、前記横サイズを所定の倍数（例えば２倍）に大きくするが、前記特徴マップの前記縦サイズは変更させないことができる。その理由は、前述のように、本発明は前記グリッドの前記列の中でどの位置が最も高いスコアを有するかを区別することで充分だからである。すなわち、本発明では、従来のセグメンテーションと異なり、すべてのピクセルを確認する必要がなく、前記縦サイズを大きくする必要もない。本発明で提案している方法は、入力と出力の横の解像度が同一の効果があり、従来の横の解像度が低くなる問題がない。縦の解像度も高ければ更によいであろうが、そうすると多くの演算量が必要であるという問題がある。従って、本発明では、少ない演算量で前記近接障害物の検出をするために、前記横の解像度だけを増加させる方法を提示するものである。このため、前述したように、前記第ｎデコンボリューションレイヤは、前記第ｎエンコード済み特徴マップの前記チャネル数を減らして、前記横サイズのみ所定倍数（例えば２倍）に増加させるが、前記縦サイズは変更させないのである。
【００５８】
再度、図３に示したデコーディングプロセスを見ると、前記学習装置は、  前記第４デコンボリューションレイヤ１７をもって、６４ｃｈ、４０×８サイズの前記第５デコード済み特徴マップ１６０から３２ｃｈ、８０×１６サイズの前記第４デコード済み特徴マップ１７０を生成するようにし、前記第３デコンボリューションレイヤ１８をもって３２ｃｈ、８０×１６サイズの前記第４デコード済み特徴マップ１７０から１６ｃｈ、１６０×３２サイズの前記第３デコード済み特徴マップ１８０を生成するようにし、前記第２デコンボリューションレイヤ１９をもって１６ｃｈ、１６０×３２サイズの前記第３デコード済み特徴マップ１８０から８ｃｈ、３２０×６４サイズの前記第２デコード済み特徴マップ１９０を生成するようにし、前記第１デコンボリューションレイヤ２０をもって８ｃｈ、３２０×６４サイズの前記第２デコード済み特徴マップ１９０から４ｃｈ、６４０×１２８サイズの前記第１デコード済み特徴マップ２００を生成するようにする。
【００５９】
このように、前記デコンボリューションレイヤは、入力される特徴マップのチャネルを減らし、前記横及び縦のサイズは大きくしてデコード済み特徴マップを生成する機能をする。例えば、前記第４デコンボリューションレイヤ１７ないし前記第１デコンボリューションレイヤ２０は、前記チャネル数を１／２に減らし、前記入力される特徴マップの前記横や縦サイズは各々２倍にして前記デコード済み特徴マップを生成する。
【００６０】
一方、前記コンボリューションレイヤは、コンボリューション、マックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、ＲｅＬＵのうち少なくとも一つの演算を遂行し、前記デコンボリューションレイヤは、デコンボリューション及びＲｅＬＵのうち少なくとも一つの演算を遂行し得る。
【００６１】
その後、図２を参照すると、Ｓ０２段階において前記学習装置は、Ｃｉ×Ｗｉ×Ｈｉサイズを有する前記デコード済み特徴マップを利用してＣｉＨｉ×Ｗｉ×１サイズを有する第１修正済み特徴マップを生成し得り、この際Ｃｉは、前記チャネルの数を意味し、前記Ｗｉは、前記列のサイズ、前記Ｈｉは、前記デコード済み特徴マップの前記行のサイズを意味する。
【００６２】
すなわち、本発明に係る修正（ｒｅｓｈａｐｉｎｇ）プロセスにおいて、  前記少なくとも一つのデコード済み特徴マップを前記第１方向に第１間隔で区画し、前記第２方向に第２間隔で区画することで、複数の列と複数の行を有する前記グリッドの各セルが生成されるとした場合、前記学習装置は、前記列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つの修正済み特徴マップを生成する。
【００６３】
図４は、本発明に係る前記近接障害物検出のための前記修正プロセスを簡略的に表した図面である。
【００６４】
図４を参照すると、前記修正プロセスで、図面符号４１０で表示された  特徴マップに示したように、デコード済み特徴マップが行に分かれた後、図面符号４２０で表示された特徴マップに示したように、前記列ごとに前記各々の行の前記特徴各々が前記チャネルの方向にコンカチネートされる。これによって、（Ｃ×Ｗ×Ｈ）サイズの特徴マップは（（Ｃ＊Ｈ）×Ｗ×１）サイズの特徴マップに変換される。
【００６５】
図４の例で、前記図面符号４１０で表示された特徴マップ上で、太線で描かれた四角形各々は、前記デコード済み特徴マップの第１列に対応する各行の特徴各々を示す。仮に、前記図面符号４１０で表示された特徴マップが８つの行を有するなら、前記図面符号４２０で表示された特徴マップは、前記チャネル数の８倍に増えたチャネル数と、前記図面符号４１０で表示された特徴マップの高さの１／８の高さを有し得る。
【００６６】
図３の例で、６４ｃｈ、４０×８サイズの前記第５デコード済み特徴マップ１６０は、第１修正プロセス（ｒｅｓｈａｐｅ５−１）によって、６４＊８ｃｈ、４０×１サイズの前記第１修正済み特徴マップ１６１に変換され、３２ｃｈ、８０×１６サイズの前記第４デコード済み特徴マップ１７０は、第１修正プロセス（ｒｅｓｈａｐｅ４−１）によって、３２＊１６ｃｈ、８０×１サイズの前記第１修正済み特徴マップ１７１に変換され、１６ｃｈ、１６０×３２サイズの前記第３デコード済み特徴マップ１８０は、第１修正プロセス（ｒｅｓｈａｐｅ３−１）によって、１６＊３２ｃｈ、１６０×１サイズの前記第１修正済み特徴マップ１８１に変換され、８ｃｈ、３２０×６４サイズの前記第２デコード済み特徴マップ１９０は、第１修正プロセス（ｒｅｓｈａｐｅ２−１）によって、８＊６４ｃｈ、３２０×１サイズの前記第１修正済み特徴マップ１９１に変換され、４ｃｈ、６４０×１２８サイズの前記第１デコード済み特徴マップ２００は第１修正プロセス（ｒｅｓｈａｐｅ１−１）によって、４＊１２８ｃｈ、６４０×１サイズの前記第１修正済み特徴マップ２０１に変換される。
【００６７】
参考までに、図３では、すべてのデコード済み特徴マップに対して前記第１修正プロセスを遂行するものと説明したが、すべてのデコード済み特徴マップについて修正プロセスを遂行する必要はなく、前記デコード済み特徴マップの一部に対してのみ修正プロセスを遂行しても充分である。
【００６８】
その後、Ｓ０３段階では、ＣｉＨｉ×Ｗｉ×１サイズ有する前記第１修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１サイズの前記第１修正済み特徴マップに変更するコンボリューション演算を遂行し得る。ここで、前記ＷＩは、前記トレーニングのイメージの列サイズであり、前記Ｗｉは、前記デコード済み特徴マップの列サイズである。このコンボリューション演算は、１×１コンボリューションであり、これは、横、縦は１マスのみ含まれるが、すべてのチャネルにわたっている前記グリッド内のセルを被演算子（ｏｐｅｒａｎｄ）とする演算であり、各第１修正済み特徴マップのＮｃ個の列の各々において前記近接障害物の下段ライン各々がどこに位置するかを知るための過程であり、前記Ｎｃは、前記入力イメージの前記第２方向を所定の大きさに分割した数である。すでに前記第１修正プロセスで前記デコード済み特徴マップのすべての前記列方向の情報を、同時に演算できるように前記チャンネルに統合した状態であるため、前記コンボリューション演算を通じて前記チャンネルの情報をすべて確認し、各列ごとにどの位置に前記近接障害物の前記下段ライン各々が位置するかどうかを確認し得る。
【００６９】
もちろん、前記第５デコード済み特徴マップ１６０の例のように、修正プロセスなしで８×１コンボリューションが遂行される場合、前記第１修正演算と前記１×１コンボリューション演算を一度で行い得る。つまり、特定の特徴マップの高さがＮである場合、Ｎ×１コンボリューションを利用し得る。しかしながら、一般的にハードウェア上、１×１コンボリューション演算は素早くに計算できるが、あまり利用されない形である８×１カーネルまたはＮ×１カーネルは演算速度が著しく遅いため、前記修正プロセス演算と前記１×１コンボリューション演算を分けたほうが効果的である。
【００７０】
前記１×１コンボリューション演算結果を参照すれば、前記入力された特徴マップの前記列サイズがＷｉ、前記元のイメージの前記列サイズがＷＩとした場合、（ＷＩ／Ｗｉ）×Ｎｃくらいのチャネルを有するように前記入力特徴マップが変換される。
【００７１】
図３の例で、６４＊８ｃｈ、４０×１サイズの前記第５デコード済み特徴マップの第１修正済み特徴マップ１６１は、前記１×１コンボリューション演算によってＮｃ＊１６ｃｈ、４０×１サイズの第１修正済み特徴マップ１６２に変更され、３２＊１６ｃｈ、８０×１サイズの前記第４デコード済み特徴マップの第１修正済み特徴マップ１７１は、前記１×１コンボリューション演算によってＮｃ＊８ｃｈ、８０×１サイズの第１修正済み特徴マップ１７２に変更され、１６＊３２ｃｈ、１６０×１サイズの前記第３デコード済み特徴マップの第１修正済み特徴マップ（１８１）は、前記１×１コンボリューション演算によってＮｃ＊４ｃｈ、１６０×１サイズの第１修正済み特徴マップ１８２に変更され、８＊６４ｃｈ、３２０×１サイズの前記第２デコード済み特徴マップの第１修正済み特徴マップ１９１は、前記１×１コンボリューション演算によってＮｃ＊２ｃｈ、３２０×１サイズの第１修正済み特徴マップ１９２に変更され、４＊１２８ｃｈ、６４０×１サイズの前記第１デコード済み特徴マップの第１修正済み特徴マップ２０１は、前記１×１コンボリューション演算によってＮｃ  ｃｈ、６４０×１サイズの第１修正済み特徴マップ２０２に変更される。
【００７２】
再度図２を参照すれば、Ｓ０４段階では、（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１サイズの前記第１修正済み特徴マップはＮｃ×ＷＩ×１サイズを有する第２修正済み特徴マップに修正され得る。ここで前記Ｎｃ個は、前記近接障害物の各々の前記下段ライン各々が前記列ごとにどこに位置するかを特定するために前記入力イメージの前記第２方向に分割した前記行の数である。
【００７３】
そしてＳ０５段階では、前記第２修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルに対応する各々の値をノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス演算が遂行され、Ｓ０６段階では、前記第２方向に沿って前記各々の列をこれに対応する一番下のセルから確認することで前記近接障害物が存在すると推定される前記特定の行の各々から前記近接障害物各々の前記下段ライン各々の推定位置各々を示す前記入力イメージ内の前記列ごとのセグメンテーション結果が生成される。
【００７４】
前記第２修正プロセスＳ０４で、前記出力された（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１サイズの特徴マップは、データは固定されたままの形だけが変化してＮｃ×ＷＩ×１サイズの形態に変換され得る。そして前記ソフトマックスプロセスＳ０５で各列ごとに前記Ｎｃ個のチャネルの前記値を０〜１の間の値へノーマライジングさせ、前記ノーマライジングされた値を参照して、前記列ごとにそれに対応する最も大きい値を有する特定のチャネル各々を探して前記近接障害物各々の前記下段ライン各々の前記列ごとの位置を推定し得る。
【００７５】
従って、前記１×１コンボリューション演算Ｓ０３と前記修正演算Ｓ０４によって、前記列ごとに前記行の中から前記近接障害物各々の前記下段ライン各々の前記推定位置各々は、各々に対応する最も大きい値を有し得り、残りの行はそれより小さい値を有するように特徴マップが生成され得る。前記ソフトマックス演算Ｓ０５は、前記入力イメージの列ごとに前記Ｎｃ個の値の中で最も大きい値を見つけ、その位置を出力して前記近接障害物の前記位置各々を探し出すために利用される。そして、前記ノーマライジングされた値を参照して前記列ごとに前記チャネルの値のうち大きい値を有する特定チャネル各々に前記近接障害物各々の前記下段ラインが位置すると推定されると、前記Ｎｃ行のうち、前記列ごとの前記行の中から前記近接障害物各々の前記下段ライン各々の推定位置各々は、対応する最も大きい値を有し、前記列ごとの前記行のうち、残りの行はそれより小さい値を有するようにするセグメンテーション結果が生成され得るようにする。
【００７６】
このプロセスを理解するためには、最終結果（前記ソフトマックス演算の結果）の形態についての理解が必要である。前記ＣＮＮの前記学習方法から期待される出力は、前記入力イメージで前記列ごとに前記Ｎｃ個の行のうち最大の値を有する各々の行を前記近接障害物の位置として探し出すことである。このためには、列ごとにＮｃ個のスコアが必要である。例えば、前記入力イメージ内の前記列の個数（つまり前記入力イメージの前記幅）が６４０個（つまり６４０個のピクセルまたは６４０個の列）ならば、Ｎｃ（チャネル）×６４０（幅）×１（高さ）サイズのスコアマップとして算出されるべきである。
【００７７】
前記出力としてＮｃ（チャネル）×６４０（幅）×１（高さ）サイズの前記スコアマップを生成する前記プロセスを見ると次のとおりである。例えば、前記第１修正（ｒｅｓｈａｐｅ５−１）プロセスによって５１２（６４＊８）（チャネル）×４０（幅）×１（高さ）サイズの前記第５デコード済み特徴マップの前記第１修正済み特徴マップ１６１が生成された場合、この第１修正済み特徴マップの列は、前記入力イメージの列（６４０個）の１／１６の４０個だけである。従って、この場合、１６回の前記１×１コンボリューション演算でＮｃ個のスコアマップを１６回出力すれば解決し得る。従って、図３でＣＯＮＶ＿ＯＵＴ５から出た前記出力１６２サイズは（Ｎｃ＊１６）（チャネル）×４０（幅）×１（高さ）になるようにデザインされるべきだ。そして、（Ｎｃ＊１６）（チャネル）×４０（幅）×１（高さ）サイズの前記スコアマップをＮｃ（チャネル）×６４０（幅）×１（高さ）サイズの前記スコアマップへ変換するため、前記第２修正プロセス（ｒｅｓｈａｐｅ５−２）が必要なのである。
【００７８】
図３に示した例を参照に、Ｎｃ＊１６ｃｈ、４０×１サイズの前記特徴マップ１６２は、前記１×１コンボリューションであるＣＯＮＶ＿ＯＵＴ５によってＮｃ  ｃｈ、６４０×１サイズの前記特徴マップ１６３に変換され、前記ソフトマックス演算によって６４０個の列ごとの前記Ｎｃ個の行のうち、前記列ごとに前記行の中から前記近接障害物各々の前記下段ライン各々の前記推定位置各々に対応する最も大きい値を有し、前記列ごとに前記行の中の前記残りの位置はより小さい値を有するように出力１６４が生成される。そしてＮｃ＊８ｃｈ、８０×１サイズの前記特徴マップ１７２、Ｎｃ＊４ｃｈ、１６０×１サイズの前記特徴マップ１８２、Ｎｃ＊２ｃｈ、３２０×１サイズの前記特徴マップ１９２、Ｎｃ  ｃｈ、６４０×１サイズの前記特徴マップ２０２は、ＣＯＮＶ＿ＯＵＴ４ないしＣＯＮＶ＿ＯＵＴ１の前記１×１コンボリューション演算各々によってＮｃ  ｃｈ、６４０×１サイズの前記特徴マップ１７３、１８３、１９３、２０３へ各々変換され、前記ソフトマックス演算によって６４０個の列ごとに前記Ｎｃ個の行のうち、前記近接障害物各々の前記下段ライン各々の前記推定位置各々が存在する前記列ごとにこれに該当する最も大きい値を有し、前記列ごとの前記行の中の残りの位置はより小さい値を有するように各々の出力１７４、１８４、１９４、２０４が生成される。
【００７９】
つまり、前記学習装置が、前記少なくとも一つのデコード済み特徴マップにおいて、前記推定位置各々を示す前記セグメンテーション結果を生成し得り、前記各々の列をそれに対応する一番下のセルから前記第２方向に（つまり、上がりながら）確認することで、前記近接障害物各々の前記下段ライン各々の前記推定位置各々が推定される。前記学習装置は、前記修正済み特徴マップの前記列ごとにコンカチネートされたチャネル上の前記近接障害物各々の前記下段ライン各々の前記推定位置各々を確認することにより、前記セグメンテーション結果を生成し得る。
【００８０】
再び図２を参照すると、Ｓ０７段階では、前記セグメンテーション結果とそれに対応する少なくとも一つの原本正解イメージを参照して少なくとも一つのロスが算出され得り、Ｓ０８段階では、前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記ＣＮＮのパラメータが学習されたり、最適化され得る。
【００８１】
この際、前記原本正解イメージは、前記各々の列についてそれに対応する一番下のセルから前記第２方向に（つまり、上がりながら）確認したとき、前記近接障害物各々が実際に位置する原本正解位置各々に対応する各々の列が表示されたイメージである。
【００８２】
図５は、本発明によって前記近接障害物検出のための前記入力イメージ及びこれに対応する原本正解イメージを例示的に示す図面である。図５を参照すれば、前記入力イメージで列ごと（６４０個のピクセルを前記第１間隔で区切ってできた列ごとまたは前記６４０個のピクセルごと）に前記下段から上段まで確認するとき、近接障害物を前記近接障害物に指定することで、前記原本正解イメージが生成され得る。前記原本正解イメージが前記入力イメージで前記列ごとに前記近接障害物各々の前記下段ライン各々が、実際前記Ｎｃ個の行の中に位置する行を示す情報を含み、前記セグメンテーション結果が前記入力イメージで前記列ごとに前記近接障害物各々の前記下段ライン各々が前記Ｎｃ個の行の中のどこに位置するかを推定する情報を含むため、前記デコード済み特徴マップを修正したすべての前記修正済み特徴マップ１６４、１７４、１８４、１９４、２０４は、前記Ｎｃのチャネルを有するように生成されるのである。
【００８３】
前記Ｓ０７段階での前記ロスはクロスエントロピーロス（Ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）であり得る。前記ロスは、前記ＣＮＮの前記パラメータを学習したり、最適化したりするためにバックプロパゲーションされる。図３の例では、５つのデコード済み特徴マップを通じて出力を算出するため５つのロスが算出されるが、前記５つのデコード済み特徴マップのうち、少なくとも一部からの前記ロスと、前記出力を参照して前記バックプロパゲーションを遂行し得る。特に、前記第１コンボリューションレイヤ２０から出力された前記第１デコード済み特徴マップを参照して算出した前記ロスを利用することが好ましいが、必須ではない。
【００８４】
前記のようなプロセスを経て、前記ＣＮＮの前記パラメータが学習された状態で、前記学習されたパラメータを有している前記ＣＮＮを利用したテスト装置は、前記入力イメージとしての少なくとも一つのテストイメージから近接障害物を検出し得る。
【００８５】
図６は、本発明に係る前記近接障害物検出のための前記ＣＮＮのテスト方法を説明するため、前記入力のイメージに対する演算の過程を例示的に示す。図６を参照すれば、図３の前記学習装置と異なって、一つの出力だけを生成すれば充分で、前記第５デコード済み特徴マップを利用し、直ちに前記出力を生成し得るため、前記第４デコンボリューションレイヤないし前記第１デコンボリューションレイヤは省略しても構わない。もう一つの例として、前記省略されたデコンボリューションレイヤの一部を含んでも構わないと言える。
【００８６】
具体的な前記プロセスは、図３で説明した内容と類似するため、図６の前記近接障害物検出過程を簡略に説明すると、次の通りだ。まず、前記テスト装置が、前記テストイメージ１００を受信し、前記第１ないし前記第ｎコンボリューションレイヤ（１１ないし１５）をもって前記テストイメージ１００から逐次的にテスト用第１エンコード済み特徴マップないしテスト用第ｎエンコード済み特徴マップ１１０、１２０、１３０、１４０、１５０を各々生成するようにし得る。そして前記テスト装置は少なくとも一つのデコンボリューションレイヤ１６をもって前記テスト用第ｎエンコード済み特徴マップ１５０からテスト用デコード済み特徴マップ１６０を生成するようにし得る。そして、前記テスト用デコード済み特徴マップ１６０から、前記グリッドを参照にし、前記第２方向に羅列された前記列ごとの前記各々の行の特徴各々を前記チャネル方向へコンカチネートしてテスト用修正済み特徴マップ１６１を生成し得る。そして、前記１×１コンボリューション演算および追加修正プロセスを経て、チャンネルが変更されたテスト用特徴マップ１６２と当該チャネルをＮｃ個に合わせて、該当列の前記横軸の個数を前記テストイメージの前記横軸の個数に合わせたテスト用特徴マップ１６３が生成される。そして、前記テスト装置は、前記テスト用修正済み特徴マップの前記列ごとにコンカチネートされたチャンネル上で前記近接障害物各々の前記下段ライン各々の前記列ごとの前記行の中の前記推定位置各々を確認することにより、テスト用セグメンテーション結果１６４を生成して、前記近接障害物を検出し得る。
【００８７】
図７ａは、前記従来の障害物検出結果を簡略に示す図面であり、図７ｂ及び図７ｃは本発明に係る前記障害物の検出結果を簡略に示す図面である。
【００８８】
図７ａは、前記従来の検出方法によって前記近接障害物を検出した例を示すが、すべてのピクセルを見て前記ピクセルが前記道路に該当するピクセルであるか否かを区別しなければならないので、その結果、演算量が多くなってしまう。しかし、図７ｂ及び図７ｃに示した本発明に係る方法によれば、前記近接障害物各々の前記下段ライン各々の位置（黒線部）を推測するためにイメージの下段から上段へ所定の個数（例えば、Ｎｃ個）の前記グリッドセルを確認することで、前記近接障害物を検出し、その結果として少ない演算によって速くて高解像度の前記近接障害物を検出し得る。
【００８９】
さらに、前記従来の技術は処理時間の関係で、前記障害物検出結果の前記横の解像度が前記入力イメージの前記解像度より低いという問題があるが、本発明で新たに提案する方法は、前記入力イメージの前記出力結果の横の解像度が同一であるためこの問題を解決し得る。
【００９０】
また、本発明では、マルチロスを用いた学習時に高解像度情報を利用し、実際のテストでは低解像度特徴マップだけでも高解像度の結果が出力され得る。これにより、前記低解像度の特徴マップから高解像度情報を出力し得り、演算量も少なくて処理速度も早くなり得る。
【００９１】
図８は、本発明に係る少なくとも一つの境界線及び少なくとも一つの物体存在性を検出するプロセスを簡略的に示したフローチャートである。
【００９２】
以下、図８を参照して、前述した前記障害物検出のための前記方法を用いて、道路の前記境界線及び前記道路上の少なくとも一つの近接障害物の前記物体存在性を検出する方法を説明する。
【００９３】
まず、図８を参照すれば、前記学習装置が、トレーニングイメージとして、前記入力イメージを獲得したり、獲得するように支援し、第１ＣＮＮをもって前記入力イメージから少なくとも一つの第１エンコード済み特徴マップ及び少なくとも一つの第１デコード済み特徴マップを生成するようにして、第２ＣＮＮをもって前記入力イメージから少なくとも一つの第２エンコード済み特徴マップと少なくとも一つの第２デコード済み特徴マップを生成するようにする（Ｓ８１）。ここで、前記第１ＣＮＮは、前記第２ＣＮＮと同一でもあり得り、同一でなくもあり得る。
【００９４】
図９は、本発明の一実施例による前記境界線及び前記物体存在性検出のための前記ＣＮＮのネットワーク構成を簡略的に示す図面である。
【００９５】
前記障害物は、道路走行の際に障害になり得るすべての物体や前記道路の境界、階段などのあらゆる障害物を意味し、前記物体の存在性は全ての物体の実在または存在そのものを意味する。例えば、物体を検出することは、前記物体が動物であるか否かを判断することであるが、物体の存在性を検出することは、前記物体が存在するという事実自体を判断することである。
【００９６】
図９を参照して前記Ｓ８１段階を具体的に説明すれば、前記学習装置が、前記入力イメージ９０を獲得し、前記第１ＣＮＮ９１０の少なくとも一つのコンボリューションレイヤをもって前記入力イメージ９０から逐次的に前記第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮ９１０の少なくとも一つのデコンボリューションレイヤをもって前記第１エンコード済み特徴マップから逐次的に、前記第１デコード済み特徴マップを生成するようにする。一方、図９では、前記第１ＣＮＮ９１０の出力を第１特徴マップ９１で示した。また、前記学習装置は、前記第２ＣＮＮ９２０の少なくとも一つのコンボリューションレイヤをもって前記入力イメージ９０から逐次的に前記第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮ９２０の少なくとも一つのデコンボリューションレイヤをもって前記第２エンコード済み特徴マップから逐次的に前記第２デコード済み特徴マップを生成するようにする。追加として、図９では、前記第２ＣＮＮ９２０の出力を第２特徴マップ９２で示した。
【００９７】
図８を再び参照すれば、前記第１デコード済み特徴マップの中から少なくとも一つの特定第１デコード済み特徴マップに対する第１ソフトマックス演算を通じて、前記近接障害物各々の前記下段ライン各々が存在すると推定される情報を含む第１障害物セグメンテーション結果が生成され、前記第２デコード済み特徴マップの中から少なくとも一つの特定第２デコード済み特徴マップに対する第２ソフトマックス演算を通じて、前記近接障害物各々の上段ライン各々が存在すると推定される情報を含む第２障害物セグメンテーション結果が生成される（Ｓ８２）。
【００９８】
図９を参照して本発明を説明すれば、前記Ｓ８２段階は、前記学習装置の前記下段ライン検出のためのソフトマックス−演算部９３０及び前記上段ライン検出のためのソフトマックス−演算部９４０で遂行される。まず、前記学習装置は、前記下段ライン検出のための前記ソフトマックス演算部９３０をもって前記ソフトマックス演算を前記第１特徴マップ９１に適用するようにし、前記第１障害物セグメンテーション結果９３を生成するようにする。そして、前記以前のソフトマックス演算と並行して、前記学習装置は、前記上段ライン検出のための前記ソフトマックス−演算部９４０をもって前記ソフトマックス演算を前記第２特徴マップ９２に適用するようにし、前記第２障害物セグメンテーション結果９４を生成するようにする。具体的には、複数の行と複数の列を有するグリッドの各々のセルが、前記第１及び第２デコード済み特徴マップをその前記行方向である第１方向、前記列方向である第２方向に分けることで生成されるとした場合、前記学習装置は、前記第１デコード済み特徴マップ９１のうち、少なくとも一つの特定第１デコード済み特徴マップ９１の少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記下段ライン各々が位置するものと推定される第１特定の行各々を示す前記第１障害物セグメンテーション結果９３を生成する。ここで、前記第１障害物セグメンテーション結果９３は、前記列ごとに各々のチャンネルに対応する各々の値を１ないし０の値にノーマライジングする前記第１ソフトマックス演算を通じて生成される。そして前記学習装置は、前記第２デコード済み特徴マップ９２のうち、少なくとも一つの特定第２デコード済み特徴マップの少なくとも一つの特徴を参照にして、前記列ごとに前記近接障害物各々の前記上段ライン各々が位置すると推定される第２特定の行各々を示す前記第２障害物セグメンテーション結果９４を生成する。ここで、前記第２障害物セグメンテーション結果９４は、前記列ごとに各チャンネルに対応される各々の値を１と０の間の値にノーマライジングする前記第２ソフトマックス演算を通じて生成される。
【００９９】
この段階Ｓ８２は、先に２ないし図６を参照で説明したとおり、前記グリッドの各々のセルが前記第１及び第２デコード済み特徴マップ９１、９２を前記第１方向に対し第１間隔で区画し、前記第２方向に対し第２間隔で区画することで生成され、前記各々の列ごとに前記行各々の特徴各々をチャネル方向へコンカチネートされ、少なくとも一つの第１修正済み特徴マップ及び少なくとも一つの第２修正済み特徴マップを生成されれば、前記学習装置は、（ｉ）前記第１修正済み特徴マップ上の前記列ごとにコンカチネートされたチャネル上の前記近接障害物各々の前記下段ライン各々に対する推定位置各々を確認することにより、前記列ごとに前記近接障害物各々の下段ライン各々が前記行の中から位置すると推定される前記第１特定の行各々を示す、前記第１障害物セグメンテーション結果９３を生成するものの、前記第１障害物セグメンテーション結果９３は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする前記第１ソフトマックス演算によって生成され、（ｉｉ）前記第２修正済み特徴マップ上の前記列ごとにコンカチネートされたチャネル上の前記下段ライン各々からはじまって上に上りながら前記近接障害物各々の前記上段ライン各々に対する推定位置各々を確認することで、前記列ごとに前記近接障害物各々の前記上段ライン各々が前記行の中に位置すると推定される前記第２特定の行各々を示す前記第２障害物セグメンテーション結果９４を生成するものの、前記第２障害物セグメンテーション結果９４は、前記列ごとにチャネル各々に対応する値各々をノーマライジングする前記第２ソフトマックス演算によって生成され得る。
【０１００】
再び図８を参照すれば、前記学習装置は、前記第１障害物セグメンテーション結果９３及び前記第２障害物セグメンテーション結果９４を参照にして前記境界線及び前記道路上の前記近接障害物に対応される前記物体存在性を推定する（Ｓ８３）。前記Ｓ８３段階は、図９の前記学習装置の物体存在性−判断部（ｏｂｊｅｃｔｎｅｓｓ−ｄｅｔｅｒｍｉｎｉｎｇ  ｐａｒｔ）９５０で遂行される。この場合、前記学習装置が、前記第１障害物セグメンテーション結果９３及び前記第２障害物セグメンテーション結果９４を参照にして前記道路上の前記近接障害物に対応される前記物体存在性を推定し得るが、場合によって前記境界線の推定は省略され得る。
【０１０１】
この際、前記第１障害物セグメンテーション結果（９３）及び前記第２障害物セグメンテーション結果（９４）を参照にして、（ｉ）前記列ごとに前記近接障害物各々の前記下段ライン各々が位置するものと推定される前記第１特定の行各々と（ｉｉ）前記列ごとに前記近接障害物各々の前記上段ライン各々が位置するものと推定される前記第２特定の行各々の間の距離の差異各々が所定の閾値未満の範囲にあれば、前記学習装置は、前記入力イメージ上で前記境界線各々があると決定する。そして、（ｉ）前記列ごとの前記第１特定の行各々と（ｉｉ）前記列ごとに前記第２特定の行各々の間の距離の差異、各々が前記所定の閾値より大きければ、前記学習装置は、前記入力イメージの前記道路上に前記近接障害物各々に対応される各々の前記物体存在性があると決定することになる。
【０１０２】
図１１は、本発明に係る前記障害物の前記下段ライン及び前記上段ラインの推定位置を参照にして前記境界線と前記物体存在性を推定するプロセスを簡略的に示している。
【０１０３】
図１１を参照すれば、前記第１障害物セグメンテーション結果１１１０の列ごとに前記障害物各々の前記下段ライン各々を連結することにより統合された下段ライン１１１１が決定され得り、前記第２障害物セグメンテーション結果１１２０の列ごとに前記障害物各々の前記上段ライン各々を連結することにより統合された上段ライン１１２１が決定され得る。
【０１０４】
ここで、前記入力イメージが前記第２方向にＮｃ個（例えば、８０個）の行に分割された場合なら、少なくとも一つの原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）イメージは、前記列ごとに前記近接障害物各々の前記下段ライン各々及び前記上段ライン各々が前記行のうち、実際に位置する行を示す情報を含み、前記入力イメージが前記Ｎｃ個に分割された場合、前記第１及び第２ソフトマックス演算の結果９３、９４は、前記列ごとに前記近接障害物各々の前記下段ライン各々と前記上段ライン各々が前記行の中に位置するものと推定される行を示す情報を含むようになる。
【０１０５】
図１１の例には、前記入力イメージの前記第２方向が８０個の行に分割された場合、前記列ごとに前記近接障害物各々の前記下段ライン各々に対応する前記第１特定の行各々の位置が表１１３０のように示され、前記列ごとに前記近接障害物各々の前記上段ライン各々に対応する前記第２特定の行各々の位置が表１１４０のように示される。前記表１１３０を参照すれば、前記入力イメージの列ごとに前記全体８０個の行の中から前記下段から各々３７、３５、３３、…、３１、  ３１…行に前記接近障害物各々の前記下段ライン各々があるものと推定された。これらは、前記第１障害物セグメンテーション結果１１１０の前記統合された下段ライン１１１１を形成する。そして前記表１１４０を参照すれば、前記入力イメージの列ごとに前記全体８０個の行の中で前記下段から各々４０、３８、３６、…、４５、  ４５…行に前記接近障害物の各々の上段ラインが各々あると推定された。これらは、前記第２障害物セグメンテーション結果（１１２０）の前記統合された上段ライン（１１２１）を形成する。
【０１０６】
そして前記下段ライン各々に対応する前記第１特定の行の各々の位置（表１１３０）と、前記上段ライン各々に対応する前記第２特定の行各々の位置（表１１４０）の間の差異各々が所定の閾値より大きいと判断されれば、前記物体存在性が検出されたと判断し、前記列ごとの物体存在性ベクトル１１５０内でこれに対応する要素が１を示すが、前記差異各々が前記閾値よりも小さいと判断されれば、前記物体存在性がないと判断し、前記列ごとの前記物体存在性ベクトル１１５０内でこれに対応する要素が０を示し、その結果、前記列ごとに前記物体存在性ベクトル１１５０が生成される。つまり、前記物体存在性ベクトル１１５０で０と表示された部分は、前記道路上、前記障害物の中で前記道路の境界線としてのみ存在し、前記物体存在性ベクトル１１５０で１として表示された残りの部分は、前記道路上の前記障害物の前記物体存在性が存在すると判断されるのだ。
【０１０７】
図１２は、本発明によって獲得した前記入力イメージの前記境界線及び前記物体存在性を含む前記近接障害物検出の例を簡略的に示している。
【０１０８】
前記学習装置が、前記第１障害物セグメンテーション及び前記第２障害物セグメンテーション結果を参照にして、前記道路の境界線１２０１及び前記道路上の前記近接障害物に対応される前記物体存在性１２０２を推定した前記近接障害物の検出結果１２００が図１２に示される。図１２の例のように、前記第１障害物セグメンテーション及び前記第２障害物セグメンテーション結果を参照にして、前記列ごとに前記下段ライン各々に対応する前記第１特定の行の各々の位置と、前記上段ライン各々に対応する前記第２特定の行の各々の位置の間の差異各々が前記所定の閾値より小さければ、前記道路の前記境界線１２０１のみが存在し、前記列ごとに前記下段ライン各々に対応する前記第１特定の行の各々の位置と、前記上段ライン各々に対応する前記第２特定の行の各々の位置の間の差異各々が前記所定の閾値より大きければ、前記第１障害物セグメンテーション結果として導出された行と前記第２障害物セグメンテーション結果として導出された行の間には前記物体存在性１２０２各々が存在すると言え得る。つまり、前記推定された物体存在性１２０２の種類が何かは分からないが、前記車両の妨害になり得る任意の物体が存在することを知り得る。併せて、車両が走行できない道路の前記境界線１２０１も検出され得るようになる。
【０１０９】
再び図８を参照すれば、前記境界線及び前記物体存在性と、これに対応する原本正解イメージを参照にして少なくとも一つのロスが生成され、前記ロスをバックプロパゲーションして、前記ＣＮＮの前記パラメータを学習する（Ｓ８４）。この際、前記原本正解イメージは、前記列ごとに前記近接障害物各々の前記下段ライン各々が実際に位置する第１行の位置情報及び前記列ごとに前記近接障害物の前記上段ライン各々が実際に位置する第２行の位置情報を含む。
【０１１０】
図１０は、本発明の他の実施例による前記境界線及び前記物体存在性検出のための前記ＣＮＮのネットワーク構成を簡略的に表している。
【０１１１】
図１０において、前記第１ソフトマックス演算による前記第１障害物セグメンテーション結果と、前記第２ソフトマックス演算による前記第２障害物セグメンテーション結果は、個別的に生成されない。その代わり、前記第３障害物セグメンテーション結果９５が、前記第１及び第２デコード済み特徴マップ９１、９２の特徴をコンカチネートして生成されたコンカチネートされた特徴の前記列ごとに上位２つの大きな値を有する行に存在すると推定される各々の前記下段ライン及び各々の前記上段ラインに対する情報を含むように生成される。このプロセスは、図１０の障害物用ソフトマックス−演算部９６０で遂行され、前記第１及び前記第２デコード済み特徴マップ９１、９２の特徴を利用して生成された、前記コンカチネートされた特徴の前記列ごとに前記行に対応される各々の値をノーマルライジングする第３ソフトマックス演算によって前記第３障害物セグメンテーション結果９５が生成される。
【０１１２】
一方、図８ないし図１２を参照して説明された前記学習方法は、前記テスト方法でもそのまま適用され得る。
【０１１３】
すなわち、少なくとも一つのテストイメージから、少なくとも一つのテスト用近接障害物の少なくとも一つの下段ライン及び少なくとも一つの上段ラインを検出して、少なくとも一つのテスト用物体存在性を確認するためのＣＮＮをテストする方法において、（ａ）前記学習装置が、（ｉ）（ｉ−１）前記第１ＣＮＮの前記コンボリューションレイヤをもって前記トレーニングイメージとして獲得された前記獲得された前記入力イメージから逐次的に少なくとも一つの学習用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの前記デコンボリューションレイヤをもって前記学習用第１エンコード済み特徴マップから逐次的に少なくとも一つの学習用第１デコード済み特徴マップを生成するようにし、第２ＣＮＮの少なくとも一つのコンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つの学習用第２エンコード済み特徴マップを生成するようにし、前記第２ＣＮＮの少なくとも一つのデコンボリューションレイヤをもって前記学習用第２エンコード済み特徴マップから逐次的に少なくとも一つの学習用第２デコード済み特徴マップを生成するようにし、（ｉ−２）前記第２ＣＮＮの前記コンボリューションレイヤをもって前記入力イメージから逐次的に少なくとも一つのテスト用第２エンコード済み特徴マップ生成するようにし、前記第２ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第２エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第２デコード済み特徴マップを生成するようにするプロセス、（ｉｉ）前記学習用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記学習用第１及び前記第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されるとした場合、（ｉｉ−１）前記学習用第１デコード済み特徴マップの中から少なくとも一つの学習用特定第１デコード済み特徴マップの少なくとも一つの学習用特徴を参照にして、前記列ごとに少なくとも一つの学習用近接障害物各々の下段ライン各々が位置すると推定される学習用第１特定の行各々を示す、少なくとも一つの学習用第１障害物セグメンテーション結果を生成し、（ｉｉ−２）前記学習用第２デコード済み特徴マップの中から少なくとも一つの学習用特定第２デコード済み特徴マップの少なくとも一つの学習用特徴を参照にして、前記列ごとに前記学習用近接障害物各々の前記上段ライン各々が位置すると推定される学習用第２特定の行各々を示す、少なくとも一つの学習用第２障害物セグメンテーション結果を生成するプロセス、（ｉｉｉ）前記学習用第１障害物セグメンテーション結果及び前記学習用第２障害物セグメンテーション結果を参照して、道路上の前記学習用近接障害物に対応する学習用物体存在性を推定するプロセス、（ｉｖ）前記学習用物体存在性とそれに対応する原本正解イメージを参照して少なくとも一つのロスを生成するものの、前記原本正解イメージ各々は、前記列ごとに前記学習用近接障害物の前記下段ライン各々が実際に位置する第１実際の行の位置情報及び前記列ごとに前記学習用近接障害物の前記上段ライン各々が実際に位置する第２実際の行の位置情報を含むプロセス、及び（ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習するプロセスを遂行した状態で、テスト装置が前記テストイメージを獲得する段階；（ｂ）前記テスト装置が、（ｉ）前記第１ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第１エンコード済み特徴マップを生成するようにし、前記第１ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第１エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第１デコード済み特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮの前記コンボリューションレイヤをもって前記テストイメージから逐次的に少なくとも一つのテスト用第２エンコード済み特徴マップを獲得し、前記第２ＣＮＮの前記デコンボリューションレイヤをもって前記テスト用第２エンコード済み特徴マップから逐次的に少なくとも一つのテスト用第２デコード済み特徴マップを生成するようにする段階；（ｃ）前記テスト用第１及び第２デコード済み特徴マップの行方向である第１方向、列方向である第２方向に前記テスト用第１及び前記テスト用第２デコード済み特徴マップを区画することで、複数の行と複数の列を有するグリッドの各セルが生成されとした場合、前記テスト装置が、（ｉ）前記テスト用第１デコード済み特徴マップの中から少なくとも一つのテスト用特定第１デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記下段ライン各々が位置するものと推定されるテスト用第１特定の行各々を示す、少なくとも一つのテスト用第１障害物セグメンテーション結果を生成し、（ｉｉ）前記テスト用第２デコード済み特徴マップの中から少なくとも一つのテスト用特定第２デコード済み特徴マップの少なくとも一つのテスト用特徴を参照にして、前記列ごとに前記テスト用近接障害物各々の前記上段ライン各々が位置するものと推定されるテスト用第２特定の行各々を示す、少なくとも一つのテスト用第２障害物セグメンテーション結果を生成する段階；及び（ｄ）前記テスト用装置が、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果を参照して、道路上の前記テスト用近接障害物に対応する前記テスト用物体存在性を推定する段階；を含むことを特徴とする。この際、前記（ｄ）段階で、前記テスト装置は、前記テスト用第１障害物セグメンテーション結果及び前記テスト用第２障害物セグメンテーション結果をもとに、前記道路の境界線を追加的に判断し得る。
【０１１４】
前記物体を検出するための従来の学習方法では、検出のためにすべての物体毎に学習が行われなければならなかった。例えば、自動車を認識する学習が行われてこそ前記道路上の前記自動車を検出し得り、その後に人を追加的に認識する必要が生じた場合、人に対する認識学習が遂行されなければならかった。
【０１１５】
そして、このような物体検出には多くの演算量が必要だという問題があった。しかし、本発明に係る前記方法は、前記道路上の前記障害物の前記物体存在性を検出し得るため、前記物体存在性が車両であれ人であれ関係なく前記障害物を検出し得る。従って、本発明に係る前記方法は、各々の全ての物体に対する学習過程が必要なく、少ない演算量で前記障害物の物体存在性と境界線を検出する。
【０１１６】
本発明の技術分野の通常の技術者に理解されるものとして、前記で説明されたイメージ、例えば前記トレーニングイメージ、前記テストイメージ及び前記入力イメージなどといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得り、特徴マップと演算を遂行するためのデータが前記学習装置及び前記テスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得り、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【０１１７】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。  前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、  ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得り、その逆も同様である。
【０１１８】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【０１１９】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020068014.tif 000003
【図２】
2020068014.tif 000004
【図３】
2020068014.tif 000005
【図４】
2020068014.tif 000006
【図５】
2020068014.tif 000007
【図６】
2020068014.tif 000008
【図７ａ】
2020068014.tif 000009
【図７ｂ】
2020068014.tif 000010
【図７ｃ】
2020068014.tif 000011
【図８】
2020068014.tif 000012
【図９】
2020068014.tif 000013
【図１０】
2020068014.tif 000014
【図１１】
2020068014.tif 000015
【図１２】
2020068014.tif 000016