(57)【要約】      （修正有）【課題】トレーニングイメージから障害物を検出するためのＣＮＮのパラメータ学習方法を提供する。【解決手段】パラメータ学習方法は、トレーニングイメージを獲得し、コンボリューションレイヤをもってエンコード済み特徴マップを生成し、デコンボリューションレイヤをもってデコード済み特徴マップを生成し行と列の方向へデコード済み特徴マップを区画することで、行と列を有するグリッドの各セルが生成される際、列ごとに行の特徴をチャネル方向へコンカチネートして、修正済み特徴マップを生成する。修正済み特徴マップと対応する原本正解イメージとを参照してロスを算出する。原本正解イメージは、列をそれに対応する一番下のセルから列に沿って確認した際、近接障害物が実際に位置する原本正解ポジションに対応する行各々を示すイメージである。そして、ロスをバックプロパゲーションする。【選択図】図２
2020038663.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのトレーニングイメージから少なくとも一つの障害物を検出するためのＣＮＮのパラメータを学習する方法において、
（ａ）学習装置が、前記トレーニングイメージを獲得し、第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１エンコード済み特徴マップないし第ｎエンコード済み特徴マップを各々生成するようにする段階；
（ｂ）前記学習装置が、第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップから逐次的に第ｎデコード済み特徴マップないし第１デコード済み特徴マップを生成するようにする段階；
（ｃ）前記少なくとも一つのデコード済み特徴マップの行方向を第１方向とし、その列方向を第２方向として、前記少なくとも一つのデコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記学習装置が、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの修正済み特徴マップを生成する段階；
（ｄ）前記学習装置が前記修正済み特徴マップとそれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージとを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とする段階；及び
（ｅ）前記学習装置が、前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階で、
前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎエンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎデコード済み特徴マップを生成するようにすることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｃ）段階は、
前記学習装置が、前記各々の列をそれに対応する一番下のセルから始まり前記第２方向に沿って確認することで、前記近接障害物各々が位置すると判断される、前記少なくとも一つのデコード済み特徴マップ内の推定位置各々を示すセグメンテーション結果を生成する段階；
をさらに含み、
前記（ｄ）段階で、
前記セグメンテーション結果と前記原本正解イメージとを参照して前記ロスが算出されることを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｃ）段階で、
前記学習装置が、前記修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の前記推定位置各々を確認することにより、前記セグメンテーション結果を生成することを特徴とする請求項３に記載の方法。
【請求項５】
前記各々の列は、前記第１方向に少なくとも一つのピクセルを含み、前記各々の行は前記第２方向に少なくとも一つのピクセルを含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記原本正解イメージ及び前記セグメンテーション結果は、前記トレーニングイメージを前記第２方向へＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、前記修正済み特徴マップはＮｃ個のチャネルを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記修正済み特徴マップは、前記デコード済み特徴マップを区画して生じた前記各々の行をチャネル方向へ前記列ごとにコンカチネートして生成されることを特徴とする請求項１に記載の方法。
【請求項８】
前記（ｃ）段階は、
（ｃ１）前記学習装置が、Ｃｉ×Ｗｉ×Ｈｉのサイズを有する前記デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する第１修正済み特徴マップを生成するものの、前記Ｃｉは、前記デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記デコード済み特徴マップの行のサイズである段階；
（ｃ２）前記学習装置が、前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記デコード済み特徴マップの前記列のサイズである段階；
（ｃ３）前記学習装置が、（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージを分割した行の数である段階；及び
（ｃ４）前記学習装置が、前記第２修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセスを遂行する段階；
を含み、
前記（ｄ）段階で、
前記（ｃ４）段階で出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージを参照して、前記ロスが算出されることを特徴とする請求項７に記載の方法。
【請求項９】
前記（ｃ４）段階は、
前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分の各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１ないし前記第ｎコンボリューションレイヤは、コンボリューション、マックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、ＲｅＬＵの中から少なくとも一つの演算を遂行して前記トレーニングイメージまたは任意の特徴マップの大きさを縮小させることで、少なくとも一つの縮小された（ｒｅｄｕｃｅｄ）特徴マップを生成し、前記第ｎないし第１デコンボリューションレイヤは、デコンボリューション及びＲｅＬＵの中から少なくとも一つの演算を遂行して入力された特徴マップの大きさを拡大した、少なくとも一つの拡大された（ｅｎｌａｒｇｅｄ）特徴マップを生成することを特徴とする請求項１に記載の方法。
【請求項１１】
少なくとも一つのテストイメージから少なくとも一つの障害物を検出するためのＣＮＮテスト方法において、
（ａ）学習装置が、（ｉ）トレーニングイメージを受信し、第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１学習用エンコード済み特徴マップないし第ｎ学習用エンコード済み特徴マップを各々生成するようにするプロセス、（ｉｉ）第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎ学習用エンコード済み特徴マップから逐次的に第ｎ学習用デコード済み特徴マップないし第１学習用デコード済み特徴マップを生成するようにするプロセス、（ｉｉｉ）前記少なくとも一つの学習用デコード済み特徴マップの行方向を第１方向とし、その列方向を第２方向として、前記少なくとも一つの学習用デコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの学習用修正済み特徴マップを生成するプロセス、（ｉｖ）前記学習用修正済み特徴マップとそれに対応する原本正解イメージとを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とするプロセス、及び（ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮのパラメータを学習するプロセスを遂行した状態で、テスト装置が少なくとも一つのテストイメージを獲得し、前記第１コンボリューションレイヤないし前記第ｎコンボリューションレイヤをもって逐次的に前記テストイメージから第１テスト用エンコード済み特徴マップないし第ｎテスト用エンコード済み特徴マップを各々生成するようにする段階；
（ｂ）前記テスト装置が、前記デコンボリューションレイヤのうち少なくとも一つをもって前記第ｎテスト用エンコード済み特徴マップから少なくとも一つのテスト用デコード済み特徴マップを生成するようにする段階；
（ｃ）前記テスト装置が、前記各々の列ごとに前記各々の行のテスト用特徴各々を前記チャネル方向にコンカチネートし、少なくとも一つのテスト用修正済み特徴マップを生成する段階；及び
（ｄ）前記テスト装置が、前記テスト用修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の推定位置各々を確認することにより、セグメンテーション結果を生成し、前記障害物を検出する段階；
を含むことを特徴とする方法。
【請求項１２】
前記（ｉｉ）プロセスで、
前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎ学習用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎ学習用デコード済み特徴マップを生成するようにし、
前記（ｂ）段階で、
前記テスト装置は、前記第ｎデコンボリューションレイヤをもって前記第ｎテスト用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎテスト用デコード済み特徴マップを生成することを特徴とする請求項１１に記載の方法。
【請求項１３】
前記原本正解イメージ及び前記セグメンテーション結果は、各々前記トレーニングイメージと前記テストイメージとを前記第２方向に沿ってＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、
前記学習用修正済み特徴マップは、Ｎｃ個のチャネルを含み、前記テスト用修正済み特徴マップは、Ｎｃ個のチャネルを含むことを特徴とする請求項１１に記載の方法。
【請求項１４】
前記（ｉｉｉ）プロセスは、
（ｉｉｉ−１）前記学習装置が、Ｃｉ×Ｗｉ×Ｈｉのサイズを有する前記学習用デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを生成するものの、前記Ｃｉは、前記学習用デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記学習用デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記学習用デコード済み特徴マップの行のサイズであるプロセス；
（ｉｉｉ−２）前記学習装置が、前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記学習用デコード済み特徴マップの前記列のサイズであるプロセス；
（ｉｉｉ−３）前記学習装置が、（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２学習用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージが分割さえた行の数であるプロセス；及び
（ｉｉｉ−４）前記学習装置が、前記第２学習用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセスを遂行するプロセス；
を含み、  
前記（ｉｖ）プロセスで、
前記（ｉｉｉ−４）プロセスで出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージを参照して、前記ロスが算出され、
前記（ｃ）段階は、
（ｃ１）前記テスト装置が、Ｃｊ×Ｗｊ×Ｈｊのサイズを有する前記テスト用デコード済み特徴マップを利用してＣｊ・Ｈｊ×Ｗｊ×１のサイズを有する第１テスト用修正済み特徴マップを生成するものの、前記Ｃｊは、前記テスト用デコード済み特徴マップのチャネル数であり、前記Ｗｊは、前記テスト用デコード済み特徴マップの列のサイズであり、前記Ｈｊは、前記テスト用デコード済み特徴マップの行のサイズである段階；
（ｃ２）前記テスト装置が、前記Ｃｊ・Ｈｊ×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップを（（ＷＪ／Ｗｊ）×Ｎｃ）×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＪは、前記テストイメージの列のサイズであり、前記Ｗｊは、前記テスト用デコード済み特徴マップの前記列のサイズである段階；
（ｃ３）前記テスト装置が、（（ＷＪ／Ｗｊ）×Ｎｃ）×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップを利用してＮｃ×ＷＪ×１のサイズを有する第２テスト用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記テストイメージを分割した行の数である段階；及び
（ｃ４）前記テスト装置が、前記第２テスト用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセスを遂行する段階；
を含むことを特徴とする請求項１１に記載の方法。
【請求項１５】
前記（ｃ４）段階で、
前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする請求項１４に記載の方法。
【請求項１６】
少なくとも一つのテストイメージから少なくとも一つの障害物を検出するためのＣＮＮのパラメータを学習するための学習装置において、
前記トレーニングイメージを受信するための通信部；及び
（ｉ）第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１エンコード済み特徴マップないし第ｎエンコード済み特徴マップを各々生成するようにするプロセス、（ｉｉ）第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップから逐次的に第ｎデコード済み特徴マップないし第１デコード済み特徴マップを生成するようにするプロセス、（ｉｉｉ）前記少なくとも一つのデコード済み特徴マップの行方向を第１方向とし、列方向を第２方向として、前記少なくとも一つのデコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの修正済み特徴マップを生成するプロセス、（ｉｖ）前記修正済み特徴マップとそれに対応する原本正解イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とするプロセス、及び（ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習するプロセスを遂行するためのプロセッサ；
を含むことを特徴とする装置。
【請求項１７】
前記（ｉｉ）プロセスで、
前記プロセッサは、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎエンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎデコード済み特徴マップを生成するようにすることを特徴とする請求項１６に記載の装置。
【請求項１８】
前記（ｉｉｉ）プロセスは、
前記各々の列をそれに対応する一番下のセルから始まり前記第２方向に沿って確認することで、前記近接障害物各々が位置すると判断される、前記少なくとも一つのデコード済み特徴マップ内の推定位置各々を示すセグメンテーション結果を生成するプロセス；
をさらに含み、
前記（ｉｖ）プロセスで、
前記セグメンテーション結果と前記原本正解イメージとを参照して前記ロスが算出されることを特徴とする請求項１６に記載の装置。
【請求項１９】
前記（ｉｉｉ）プロセスで、
前記プロセッサは、前記修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の前記推定位置各々を確認することにより、前記セグメンテーション結果を生成することを特徴とする請求項１８に記載の装置。
【請求項２０】
前記各々の列は、前記第１方向に少なくとも一つのピクセルを含み、前記各々の行は前記第２方向に少なくとも一つのピクセルを含むことを特徴とする請求項１６に記載の装置。
【請求項２１】
前記原本正解イメージ及び前記セグメンテーション結果は、前記トレーニングイメージを前記第２方向へＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、前記修正済み特徴マップはＮｃ個のチャネルを含むことを特徴とする請求項１６に記載の装置。
【請求項２２】
前記修正済み特徴マップは、前記デコード済み特徴マップを区画して生じた前記各々の行をチャネル方向へ前記列ごとにコンカチネートして生成されることを特徴とする請求項１６に記載の装置。
【請求項２３】
前記（ｉｉｉ）プロセスは
（ｉｉｉ−１）Ｃｉ×Ｗｉ×Ｈｉのサイズを有する前記デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する第１修正済み特徴マップを生成するものの、前記Ｃｉは、前記デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記学習用デコード済み特徴マップの行のサイズであるプロセス；
（ｉｉｉ−２）前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記デコード済み特徴マップの前記列のサイズであるプロセス；
（ｉｉｉ−３）（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージを分割した行の数であるプロセス；及び
（ｉｉｉ−４）前記第２修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジングするソフトマックス出力プロセスを遂行するプロセス；
を含み、
前記（ｉｖ）プロセスで、
前記（ｉｉｉ−４）プロセスで出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージとを参照して、前記ロスが算出されることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記（ｉｉｉ−４）プロセスは、
前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする請求項２３に記載の装置。
【請求項２５】
前記第１ないし前記第ｎコンボリューションレイヤは、コンボリューション、マックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、ＲｅＬＵの中から少なくとも一つの演算を遂行して前記トレーニングイメージまたは任意の特徴マップの大きさを縮小させることで、少なくとも一つの縮小された（ｒｅｄｕｃｅｄ）特徴マップを生成し、前記第ｎないし第１デコンボリューションレイヤは、デコンボリューション及びＲｅＬＵの中から少なくとも一つの演算を遂行して入力された特徴マップの大きさを拡大した、少なくとも一つの拡大された（ｅｎｌａｒｇｅｄ）特徴マップを生成することを特徴とする請求項１６に記載の装置。
【請求項２６】
少なくとも一つのテストイメージから少なくとも一つの障害物を検出するためのＣＮＮテスト装置において、
学習装置が、（ｉ）トレーニングイメージを受信し、第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１学習用エンコード済み特徴マップないし第ｎ学習用エンコード済み特徴マップを各々生成するようにするプロセス、（ｉｉ）第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎ学習用エンコード済み特徴マップから逐次的に第ｎ学習用デコード済み特徴マップないし第１学習用デコード済み特徴マップを生成するようにするプロセス、（ｉｉｉ）前記少なくとも一つの学習用デコード済み特徴マップの行方向を第１方向とし、その列方向を第２方向として、前記少なくとも一つの学習用デコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記学習装置が、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの学習用修正済み特徴マップを生成するプロセス、（ｉｖ）前記学習用修正済み特徴マップとそれに対応する原本正解イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とするプロセス、及び（ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮのパラメータを学習するプロセスを遂行した状態で、前記テストイメージを獲得する通信部；及び
（Ｉ）前記第１コンボリューションレイヤないし前記第ｎコンボリューションレイヤをもって、逐次的に前記テストイメージから第１テスト用エンコード済み特徴マップないし第ｎテスト用エンコード済み特徴マップを各々生成するようにするプロセス、（ＩＩ）前記デコンボリューションレイヤのうち少なくとも一つをもって前記第ｎテスト用エンコード済み特徴マップから少なくとも一つのテスト用デコード済み特徴マップを生成するようにするプロセス、（ＩＩＩ）前記各々の列ごとに前記各々の行のテスト用特徴各々を前記チャネル方向にコンカチネートし、少なくとも一つのテスト用修正済み特徴マップを生成するプロセス、及び（ＩＶ）前記テスト用修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の推定位置各々を確認することにより、セグメンテーション結果を生成し、前記障害物を検出するプロセスを遂行するプロセッサ；
を含むことを特徴とする装置。
【請求項２７】
前記（ｉｉ）プロセスで、
前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎ学習用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎ学習用デコード済み特徴マップを生成するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサは、前記第ｎデコンボリューションレイヤをもって前記第ｎテスト用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎテスト用デコード済み特徴マップを生成することを特徴とする請求項２６に記載の装置。
【請求項２８】
前記原本正解イメージ及び前記セグメンテーション結果は、各々前記トレーニングイメージと前記テストイメージとを前記第２方向に沿ってＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、
前記学習用修正済み特徴マップは、Ｎｃ個のチャネルを含み、前記テスト用修正済み特徴マップは、Ｎｃ個のチャネルを含むことを特徴とする請求項２６に記載の装置。
【請求項２９】
前記（ｉｉｉ）プロセスは、
（ｉｉｉ−１）Ｃｉ×Ｗｉ×Ｈｉのサイズを有する前記学習用デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを生成するものの、前記Ｃｉは、前記学習用デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記学習用デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記学習用デコード済み特徴マップの行のサイズであるプロセス；
（ｉｉｉ−２）前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記学習用デコード済み特徴マップの前記列のサイズであるプロセス；
（ｉｉｉ−３）（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２学習用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージが分割さえた行の数であるプロセス；及び
（ｉｉｉ−４）前記第２学習用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジングするソフトマックス出力プロセスを遂行するプロセス；
を含み、
前記（ｉｖ）プロセスで、
前記（ｉｉｉ−４）プロセスで出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージとを参照して前記ロスが算出され、
前記（ＩＩＩ）プロセスは、
（ＩＩＩ−１）Ｃｊ×Ｗｊ×Ｈｊのサイズを有する前記テスト用デコード済み特徴マップを利用してＣｊ・Ｈｊ×Ｗｊ×１のサイズを有する第１テスト用修正済み特徴マップを生成するものの、前記Ｃｊは、前記テスト用デコード済み特徴マップのチャネル数であり、前記Ｗｊは、前記テスト用デコード済み特徴マップの列のサイズであり、前記Ｈｊは、前記テスト用デコード済み特徴マップの行のサイズであるプロセス；
（ＩＩＩ−２）前記Ｃｊ・Ｈｊ×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップを（（ＷＪ／Ｗｊ）×Ｎｃ）×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＪは、前記テストイメージの列のサイズであり、前記Ｗｊは、前記テスト用デコード済み特徴マップの前記列のサイズであるプロセス；
（ＩＩＩ−３）（（ＷＪ／Ｗｊ）×Ｎｃ）×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップを利用してＮｃ×ＷＪ×１のサイズを有する第２テスト用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記テストイメージを分割した行の数であるプロセス；及び
（ＩＩＩ−４）前記第２テスト用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセスを遂行するプロセス；
を含むことを特徴とする請求項２６に記載の装置。
【請求項３０】
前記（ＩＩＩ−４）プロセスで、
前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする請求項２９に記載の装置。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも一つのトレーニングイメージから少なくとも一つの障害物を検出するためのＣＮＮのパラメータ学習方法に関し；より詳細には、前記トレーニングイメージから前記障害物を検出するための前記ＣＮＮのパラメータ学習方法において、（ａ）学習装置が、前記トレーニングイメージを獲得し、第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１エンコード済み特徴マップないし第ｎエンコード済み特徴マップを各々生成するようにする段階；（ｂ）第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップから逐次的に第ｎデコード済み特徴マップないし第１デコード済み特徴マップを生成するようにする段階；（ｃ）前記少なくとも一つのデコード済み特徴マップの前記行方向を第１方向とし、その列方向を第２方向として、前記少なくとも一つのデコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの修正済み特徴マップを生成する段階；（ｄ）前記学習装置が前記修正済み特徴マップとそれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージとを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とする段階；及び（ｅ）前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習する段階；を含むことを特徴とする方法及びこれを利用した学習装置、テスト方法及び装置に関する。
【背景技術】
【０００２】
ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）は、モノやデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。保存されている犬の写真と似たような写真が入力されると、これを犬の写真だとコンピュータが分類するようにしたのである。
【０００３】
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
【０００４】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
【０００５】
図１は従来のＣＮＮを用いた一般的なセグメンテーションの従来のプロセスを簡略的に示した図面である。
【０００６】
図１を参照すれば、従来の車線検出方法では、学習装置が、入力イメージの入力を受けて、複数のコンボリューションレイヤで数回のコンボリューション演算とＲｅＬＵなどの非線形演算を遂行して特徴マップを生成し、前記特徴マップの最後のマップに対して複数のデコンボリューションレイヤで複数回のデコンボリューション演算及びソフトマックス（ＳｏｆｔＭａｘ）演算を行うことでセグメンテーション結果を生成する。
【０００７】
一方、従来の道路セグメンテーション方法では、前記入力イメージからすべてのピクセルをセグメンテーションして、すべてのピクセルを見てこのピクセルが道路に該当するピクセルか、道路に該当しないピクセルかを区別しなければならなかった。この方法では、すべてのピクセルに対して判断を行うため演算量が多いという問題点が存在する。
【０００８】
一方、自動車の自律走行のために前記道路セグメンテーションをする際には、前記入力イメージから全ての物体や車線上の全ての物体をセグメンテーションする必要はなく、自律走行の妨げとなる障害物（ｏｂｓｔａｃｌｅ）だけを検出すれば充分である。
【０００９】
従って、入力イメージから前記障害物のみを検出する新たな手法の提示が求められている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前述した問題点をすべて解決することをその目的とする。
【００１１】
また、本発明は、自動車の自律走行のために、障害物を検出する新たな手法を提供することを目的とする。
【００１２】
また、本発明は、入力イメージ内の全てのピクセルを検討することなく、少ない演算量で前記障害物の位置だけを素早く把握し得る方法を提示することをまたの目的とする。
【課題を解決するための手段】
【００１３】
本発明の一態様によれば、少なくとも一つのトレーニングイメージから少なくとも一つの障害物を検出するためのＣＮＮのパラメータを学習する方法において、（ａ）学習装置が、前記トレーニングイメージを獲得し、第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１エンコード済み特徴マップないし第ｎエンコード済み特徴マップを各々生成するようにする段階；（ｂ）前記学習装置が、第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップから逐次的に第ｎデコード済み特徴マップないし第１デコード済み特徴マップを生成するようにする段階；（ｃ）前記少なくとも一つのデコード済み特徴マップの前記行方向を第１方向とし、その列方向を第２方向として、前記少なくとも一つのデコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記学習装置が、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの修正済み特徴マップを生成する段階；（ｄ）前記学習装置が、前記修正済み特徴マップとそれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）イメージとを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とする段階；及び（ｅ）前記学習装置が、前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習する段階；を含むことを特徴とする。
【００１４】
一例として、前記（ｂ）段階で、前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎエンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎデコード済み特徴マップを生成するようにすることを特徴とする。
【００１５】
一例として、前記（ｃ）段階は、前記学習装置が、前記各々の列をそれに対応する一番下のセルから始まり前記第２方向に沿って確認することで、前記近接障害物各々が位置すると判断される、前記少なくとも一つのデコード済み特徴マップ内の推定位置各々を示すセグメンテーション結果を生成する段階；をさらに含み、前記（ｄ）段階で、前記セグメンテーション結果と前記原本正解イメージとを参照して前記ロスが算出されることを特徴とする。
【００１６】
一例として、 前記（ｃ）段階で、前記学習装置が、前記修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の前記推定位置各々を確認することにより、前記セグメンテーション結果を生成することを特徴とする。
【００１７】
一例として、前記各々の列は、前記第１方向に少なくとも一つのピクセルを含み、前記各々の行は前記第２方向に少なくとも一つのピクセルを含むことを特徴とする。
【００１８】
一例として、前記原本正解イメージ及び前記セグメンテーション結果は、前記トレーニングイメージを前記第２方向へＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、前記修正済み特徴マップはＮｃ個のチャネルを含むことを特徴とする。
【００１９】
一例として、前記修正済み特徴マップは、前記デコード済み特徴マップを区画して生じた前記各々の行をチャネル方向へ前記列ごとにコンカチネートして生成されることを特徴とする。
【００２０】
一例として、前記（ｃ）段階は、（ｃ１）前記学習装置がＣｉ×Ｗｉ×Ｈｉのサイズを有する前記デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する第１修正済み特徴マップを生成するものの、前記Ｃｉは、前記デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記デコード済み特徴マップの行のサイズである段階；（ｃ２）前記学習装置が、前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記デコード済み特徴マップの前記列のサイズである段階；（ｃ３）前記学習装置が、（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージを分割した行の数である段階；及び（ｃ４）前記学習装置が、前記第２修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセスを遂行する段階；を含み、前記（ｄ）段階で、前記（ｃ４）段階で出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージを参照して、前記ロスが算出されることを特徴とする。
【００２１】
一例として、前記（ｃ４）段階は、前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分の各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする。
【００２２】
一例として、前記第１ないし前記第ｎコンボリューションレイヤは、コンボリューション、マックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、ＲｅＬＵの中から少なくとも一つの演算を遂行して前記トレーニングイメージまたは任意の特徴マップの大きさを縮小させることで、少なくとも一つの縮小された（ｒｅｄｕｃｅｄ）特徴マップを生成し、前記第ｎないし第１デコンボリューションレイヤは、デコンボリューション及びＲｅＬＵの中から少なくとも一つの演算を遂行して入力された特徴マップの大きさを拡大した、少なくとも一つの拡大された（ｅｎｌａｒｇｅｄ）特徴マップを生成することを特徴とする。
【００２３】
本発明の他の態様によれば、少なくとも一つのテストイメージから少なくとも一つの障害物を検出するためのＣＮＮテスト方法において、（ａ）学習装置が、（ｉ）トレーニングイメージを受信し、第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１学習用エンコード済み特徴マップないし第ｎ学習用エンコード済み特徴マップを各々生成するようにするプロセス、（ｉｉ）第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎ学習用エンコード済み特徴マップから逐次的に第ｎ学習用デコード済み特徴マップないし第１学習用デコード済み特徴マップを生成するようにするプロセス、（ｉｉｉ）前記少なくとも一つの学習用デコード済み特徴マップの前記行方向を第１方向とし、その列方向を第２方向として、前記少なくとも一つの学習用デコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの学習用修正済み特徴マップを生成するプロセス、（ｉｖ）前記学習用修正済み特徴マップとそれに対応する原本正解イメージとを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とするプロセス、及び（ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮのパラメータを学習するプロセスを遂行した状態で、テスト装置が少なくとも一つのテストイメージを獲得し、前記第１コンボリューションレイヤないし前記第ｎコンボリューションレイヤをもって逐次的に前記テストイメージから第１テスト用エンコード済み特徴マップないし第ｎテスト用エンコード済み特徴マップを各々生成するようにする段階；（ｂ）前記テスト装置が、前記デコンボリューションレイヤのうち少なくとも一つをもって前記第ｎテスト用エンコード済み特徴マップから少なくとも一つのテスト用デコード済み特徴マップを生成するようにする段階；（ｃ）前記テスト装置が、前記各々の列ごとに前記各々の行のテスト用特徴各々を前記チャネル方向にコンカチネートし、少なくとも一つのテスト用修正済み特徴マップを生成する段階；及び（ｄ）前記テスト装置が、前記テスト用修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の推定位置各々を確認することにより、セグメンテーション結果を生成し、前記障害物を検出する段階；を含むことを特徴とする。
【００２４】
一例として、 前記（ｉｉ）プロセスで、前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎ学習用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎ学習用デコード済み特徴マップを生成するようにし、前記（ｂ）段階で、前記テスト装置は、前記第ｎデコンボリューションレイヤをもって前記第ｎテスト用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎテスト用デコード済み特徴マップを生成することを特徴とする。
【００２５】
一例として、前記原本正解イメージ及び前記セグメンテーション結果は、各々前記トレーニングイメージと前記テストイメージとを前記第２方向に沿ってＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、前記学習用修正済み特徴マップは、Ｎｃ個のチャネルを含み、前記テスト用修正済み特徴マップは、Ｎｃ個のチャネルを含むことを特徴とする。
【００２６】
一例として、前記（ｉｉｉ）プロセスは、（ｉｉｉ−１）前記学習装置がＣｉ×Ｗｉ×Ｈｉのサイズを有する前記学習用デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを生成するものの、前記Ｃｉは、前記学習用デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記学習用デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記学習用デコード済み特徴マップの行のサイズであるプロセス；（ｉｉｉ−２）前記学習装置が、前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記学習用デコード済み特徴マップの前記列のサイズであるプロセス；（ｉｉｉ−３）前記学習装置が、（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２学習用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージが分割さえた行の数であるプロセス；及び（ｉｉｉ−４）前記学習装置が、前記第２学習用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセスを遂行するプロセス；を含み、前記（ｉｖ）プロセスで、前記（ｉｉｉ−４）プロセスで出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージを参照して、前記ロスが算出され、  前記（ｃ）段階は、（ｃ１）前記テスト装置が、Ｃｊ×Ｗｊ×Ｈｊのサイズを有する前記テスト用デコード済み特徴マップを利用してＣｊ・Ｈｊ×Ｗｊ×１のサイズを有する第１テスト用修正済み特徴マップを生成するものの、前記Ｃｊは、前記テスト用デコード済み特徴マップのチャネル数であり、前記Ｗｊは、前記テスト用デコード済み特徴マップの列のサイズであり、前記Ｈｊは、前記テスト用デコード済み特徴マップの行のサイズである段階；（ｃ２）前記テスト装置が、前記Ｃｊ・Ｈｊ×Ｗｉ×１のサイズを有する前記第１テスト用修正済み特徴マップを（（ＷJ／Ｗｊ）×Ｎｃ）×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＪは、前記テストイメージの列のサイズであり、前記Ｗｊは、前記テスト用デコード済み特徴マップの前記列のサイズである段階；（ｃ３）前記テスト装置が、（（ＷJ／Ｗｊ）×Ｎｃ）×Ｗｊ×１  のサイズを有する前記第１テスト用修正済み特徴マップを利用してＮｃ×ＷＪ×１のサイズを有する第２テスト用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記テストイメージを分割した行の数である段階；及び（ｃ４）前記テスト装置が、前記第２テスト用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセ���を遂行する段階；を含むことを特徴とする。
【００２７】
一例として、前記（ｃ４）段階で、前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする。
【００２８】
本発明のまた他の態様によれば、少なくとも一つのテストイメージから少なくとも一つの障害物を検出するためのＣＮＮのパラメータを学習するための学習装置において、前記トレーニングイメージを受信するための通信部；及び（ｉ）第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１エンコード済み特徴マップないし第ｎエンコード済み特徴マップを各々生成するようにするプロセス、（ｉｉ）第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップから逐次的に第ｎデコード済み特徴マップないし第１デコード済み特徴マップを生成するようにするプロセス、（ｉｉｉ）前記少なくとも一つのデコード済み特徴マップの前記行方向を第１方向とし、前記列方向を第２方向として、前記少なくとも一つのデコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの修正済み特徴マップを生成するプロセス、（ｉｖ）前記修正済み特徴マップとそれに対応する原本正解イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とするプロセス、及び（ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮの前記パラメータを学習するプロセスを遂行するためのプロセッサ；を含むことを特徴とする。
【００２９】
一例として、前記（ｉｉ）プロセスで、前記プロセッサは、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎエンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎデコード済み特徴マップを生成するようにすることを特徴とする。
【００３０】
一例として、前記（ｉｉｉ）プロセスは、前記各々の列をそれに対応する一番下のセルから始まり前記第２方向に沿って確認することで、前記近接障害物各々が位置すると判断される、前記少なくとも一つのデコード済み特徴マップ内の推定位置各々を示すセグメンテーション結果を生成するプロセス；をさらに含み、前記（ｉｖ）プロセスで、前記セグメンテーション結果と前記原本正解イメージとを参照して前記ロスが算出されることを特徴とする。
【００３１】
一例として、前記（ｉｉｉ）プロセスで、前記プロセッサは、前記修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の前記推定位置各々を確認することにより、前記セグメンテーション結果を生成することを特徴とする。
【００３２】
一例として、前記各々の列は、前記第１方向に少なくとも一つのピクセルを含み、前記各々の行は前記第２方向に少なくとも一つのピクセルを含むことを特徴とする。
【００３３】
一例として、前記原本正解イメージ及び前記セグメンテーション結果は、前記トレーニングイメージを前記第２方向へＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、前記修正済み特徴マップはＮｃ個のチャネルを含むことを特徴とする。
【００３４】
一例として、前記修正済み特徴マップは、前記デコード済み特徴マップを区画して生じた前記各々の行をチャネル方向へ前記列ごとにコンカチネートして生成されることを特徴とする。
【００３５】
一例として、前記（ｉｉｉ）プロセスは（ｉｉｉ−１）Ｃｉ×Ｗｉ×Ｈｉのサイズを有する前記デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する第１修正済み特徴マップを生成するものの、前記Ｃｉは、前記デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記デコード済み特徴マップの行のサイズであるプロセス；（ｉｉｉ−２）前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記デコード済み特徴マップの前記列のサイズであるプロセス；（ｉｉｉ−３）（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージを分割した行の数であるプロセス；及び（ｉｉｉ−４）前記第２修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジングするソフトマックス出力プロセスを遂行するプロセス；を含み、前記（ｉｖ）プロセスで、前記（ｉｉｉ−４）プロセスで出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージとを参照して、前記ロスが算出されることを特徴とする
【００３６】
一例として、前記（ｉｉｉ−４）プロセスは、前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする。
【００３７】
一例として、前記第１ないし前記第ｎコンボリューションレイヤは、コンボリューション、マックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、ＲｅＬＵの中から少なくとも一つの演算を遂行して前記トレーニングイメージまたは任意の特徴マップの大きさを縮小させることで、少なくとも一つの縮小された（ｒｅｄｕｃｅｄ）特徴マップを生成し、前記第ｎないし第１デコンボリューションレイヤは、デコンボリューション及びＲｅＬＵの中から少なくとも一つの演算を遂行して入力された特徴マップの大きさを拡大した、少なくとも一つの拡大された（ｅｎｌａｒｇｅｄ）特徴マップを生成することを特徴とする。
【００３８】
本発明のまた他の態様によれば、少なくとも一つのテストイメージから少なくとも一つの障害物を検出するためのＣＮＮテスト装置において、学習装置が、（ｉ）トレーニングイメージを受信し、第１コンボリューションレイヤないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１学習用エンコード済み特徴マップないし第ｎ学習用エンコード済み特徴マップを各々生成するようにするプロセス、（ｉｉ）第ｎデコンボリューションレイヤないし第１デコンボリューションレイヤをもって、前記第ｎ学習用エンコード済み特徴マップから逐次的に第ｎ学習用デコード済み特徴マップないし第１学習用デコード済み特徴マップを生成するようにするプロセス、（ｉｉｉ）前記少なくとも一つの学習用デコード済み特徴マップの前記行方向を第１方向とし、その列方向を第２方向として、前記少なくとも一つの学習用デコード済み特徴マップを前記第１方向に対し第１間隔ずつ区画し、前記第２方向に対し第２間隔ずつ区画することで、複数の行と複数の列を有するグリッドの各セルが生成される際、前記学習装置が、前記各々の列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネートして、少なくとも一つの学習用修正済み特徴マップを生成するプロセス、（ｉｖ）前記学習用修正済み特徴マップとそれに対応する原本正解イメージを参照して少なくとも一つのロスを算出するものの、前記原本正解イメージは、前記各々の列をそれに対応する一番下のセルから前記第２方向に沿って確認した際、近接障害物各々が実際に位置する原本正解ポジション各々に対応する前記各々の行を示すイメージであることを特徴とするプロセス、及び（ｖ）前記ロスをバックプロパゲーションして前記ＣＮＮのパラメータを学習するプロセスを遂行した状態で、前記テストイメージを獲得する通信部；及び（Ｉ）前記テストイメージを獲得し、前記第１コンボリューションレイヤないし前記第ｎコンボリューションレイヤをもって、逐次的に前記テストイメージから第１テスト用エンコード済み特徴マップないし第ｎテスト用エンコード済み特徴マップを各々生成するようにするプロセス、（ＩＩ）前記デコンボリューションレイヤのうち少なくとも一つをもって前記第ｎテスト用エンコード済み特徴マップから少なくとも一つのテスト用デコード済み特徴マップを生成するようにするプロセス、（ＩＩＩ）前記各々の列ごとに前記各々の行のテスト用特徴各々を前記チャネル方向にコンカチネートし、少なくとも一つのテスト用修正済み特徴マップを生成するプロセス、及び（ＩＶ）前記テスト用修正済み特徴マップの前記各々の列に対してコンカチネートされたチャネル上で前記障害物各々の一番下の部分各々の推定位置各々を確認することにより、セグメンテーション結果を生成し、前記障害物を検出するプロセスを遂行するプロセッサ；を含むことを特徴とする。
【００３９】
一例として、前記（ｉｉ）プロセスで、前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって前記第ｎ学習用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎ学習用デコード済み特徴マップを生成するようにし、前記（ＩＩ）プロセスで、前記プロセッサは、前記第ｎデコンボリューションレイヤをもって前記第ｎテスト用エンコード済み特徴マップを前記第１方向へサイズを所定倍数に拡大し、前記第ｎテスト用デコード済み特徴マップを生成することを特徴とする。
【００４０】
一例として、前記原本正解イメージ及び前記セグメンテーション結果は、各々前記トレーニングイメージと前記テストイメージとを前記第２方向に沿ってＮｃ個の行に分割して、前記列ごとに前記障害物各々が前記行のうちどの行にあるかを示す情報を含み、前記学習用修正済み特徴マップは、Ｎｃ個のチャネルを含み、前記テスト用修正済み特徴マップは、Ｎｃ個のチャネルを含むことを特徴とする
【００４１】
一例として、前記（ｉｉｉ）プロセスは、（ｉｉｉ−１）Ｃｉ×Ｗｉ×Ｈｉのサイズを有する前記学習用デコード済み特徴マップを利用してＣｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを生成するものの、前記Ｃｉは、前記学習用デコード済み特徴マップのチャネル数であり、前記Ｗｉは、前記学習用デコード済み特徴マップの列のサイズであり、前記Ｈｉは、前記学習用デコード済み特徴マップの行のサイズであるプロセス；（ｉｉｉ−２）前記Ｃｉ・Ｈｉ×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＩは、前記トレーニングイメージの列のサイズであり、前記Ｗｉは、前記学習用デコード済み特徴マップの前記列のサイズであるプロセス；（ｉｉｉ−３）（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１のサイズを有する前記第１学習用修正済み特徴マップを利用してＮｃ×ＷＩ×１のサイズを有する第２学習用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記トレーニングイメージが分割さえた行の数であるプロセス；及び（ｉｉｉ−４）前記第２学習用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジングするソフトマックス出力プロセスを遂行するプロセス；を含み、前記（ｉｖ）プロセスで、前記（ｉｉｉ−４）プロセスで出力された、前記原本正解イメージに対応する各々のソフトマックス出力と前記原本正解イメージとを参照して前記ロスが算出され、前記（ＩＩＩ）プロセスは、（ＩＩＩ−１）Ｃｊ×Ｗｊ×Ｈｊのサイズを有する前記テスト用デコード済み特徴マップを利用してＣｊ・Ｈｊ×Ｗｊ×１のサイズを有する第１テスト用修正済み特徴マップを生成するものの、前記Ｃｊは、前記テスト用デコード済み特徴マップのチャネル数であり、前記Ｗｊは、前記テスト用デコード済み特徴マップの列のサイズであり、前記Ｈｊは、前記テスト用デコード済み特徴マップの行のサイズであるプロセス；（ＩＩＩ−２）前記Ｃｊ・Ｈｊ×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップを（（ＷJ／Ｗｊ）×Ｎｃ）×Ｗｊ×１のサイズを有する前記第１テスト用修正済み特徴マップへ変更するコンボリューション演算を少なくとも一度遂行するものの、前記ＷＪは、前記テストイメージの列のサイズであり、前記Ｗｊは、前記テスト用デコード済み特徴マップの前記列のサイズであるプロセス；（ＩＩＩ−３）（（ＷＪ／Ｗｊ）×Ｎｃ）×Ｗｊ×１  のサイズを有する前記第１テスト用修正済み特徴マップを利用してＮｃ×ＷＪ×１のサイズを有する第２テスト用修正済み特徴マップを生成するものの、前記Ｎｃは前記障害物各々の前記列ごとの位置を特定するために前記テストイメージを分割した行の数であるプロセス；及び（ＩＩＩ−４）前記第２テスト用修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルをノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス出力プロセスを遂行するプロセス；を含むことを特徴とする。
【００４２】
一例として、前記（ＩＩＩ−４）プロセスで、前記チャネルのうち、前記列ごとに最も大きい値を有する特定チャネル各々に前記障害物各々の一番下の部分各々が存在することが決定されれば、前記Ｎｃ個の行のうち前記行ごとの前記一番下の部分各々の前記推定位置が各々最も大きい値を有し、前記行のうち残りの行の位置はより小さい値を有するように前記セグメンテーション結果が生成されることを特徴とする。
【発明の効果】
【００４３】
本発明によれば、前記入力のイメージを所定の間隔に分けることで生成されたグリッドＸ軸上の前記列に前記障害物がどこにあるかを検出し、前記自律走行自動車が走行可能な経路を決定し得る効果がある。
【００４４】
また、本発明によれば、前記入力イメージ内の全てのピクセルを検討しなくても、少ない演算量で前記障害物を検出し得るまたの効果がある。
【００４５】
また、本発明は、低解像度の特徴から高解像度の情報を出力して、演算量が少なくなるまた他の効果がある。
【図面の簡単な説明】
【００４６】
【図１】従来のＣＮＮを用いて一般的なセグメンテーションプロセスを簡略的に示した図面である。
【図２】本発明に係る障害物検出のためのＣＮＮの学習方法を示したフローチャートである。
【図３】本発明に係る前記障害物検出のためのＣＮＮの学習方法を説明するために入力イメージ上の演算プロセスを例示的に示した図面である。
【図４】本発明に係る前記障害物検出のための修正プロセスを簡略的に表した図面である。
【図５】本発明に係る前記障害物検出のための前記入力イメージ及びこれに対応する原本正解イメージを例示的に示した図面である。
【図６】本発明に係る障害物検出のための前記ＣＮＮのテスト方法を説明するために前記入力イメージの演算プロセスを例示的に示した図面である。
【図７ａ】従来の障害物検出結果を簡略的に示した図面である。
【図７ｂ】本発明に係る障害物検出結果を簡略的に示した図面である。
【図７ｃ】本発明に係る障害物検出結果を簡略的に示した図面である。
【発明を実施するための形態】
【００４７】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。 例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４８】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得り、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４９】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【００５０】
本発明は、速くて少ない演算により高解像度のイメージから近接障害物を検出できるアルゴリズムを開発して提示された技術である。本発明の技術に係る前記近接障害物の検出方法は、入力イメージから道路と少なくとも一つの障害物の間の境界を見つけることを目標とする。このために、前記入力イメージの行方向を第１方向、列方向を第２方向とした場合、前記第１方向に第１間隔ずつ区画して複数の列を形成し、前記第２方向に第２間隔ずつ区画することで複数の行を形成した結果、グリッドが生成され得る。前記各々の列をこれに該当する前記グリッドの一番低いセルから始まって前記第２方向へ確認することで前記近接障害物が各々存在すると推定される前記各々の列に対して特定の行の情報を用いて前記近接障害物の道路上の位置を検出するものと言えるだろう。また、本発明は、（ｉ）高解像度情報を利用するマルチロス（Ｍｕｌｔｉ−ｌｏｓｓ）学習プロセス及び（ｉｉ）低解像度特徴だけを利用するテストプロセスによって演算量を減らし得るようにする。
【００５１】
図２は、本発明に係る前記近接障害物検出のためのＣＮＮの学習方法を示したフローチャートである。図３は本発明に係る前記近接障害物検出のための前記ＣＮＮの前記学習方法を説明するために前記入力イメージの演算プロセスを例示的に示した図面である。
【００５２】
図２及び図３を参照して、本発明に係る前記近接障害物検出のための前記ＣＮＮの前記学習方法を具体的に説明すると次の通りである。
【００５３】
本発明に係る前記近接障害物検出プロセスは、少なくとも一つの入力イメージからエンコード済み特徴マップ及びデコード済み特徴マップを生成する段階Ｓ０１から始まる。前記Ｓ０１段階では、学習装置がトレーニングイメージとして前記イメージを受信すると、前記学習装置は、第１ないし第ｎコンボリューションレイヤをもって、前記トレーニングイメージから逐次的に第１エンコード済み特徴マップないし第ｎエンコード済み特徴マップを各々生成するようにする。ここで、前記第１ないし第ｎコンボリューションレイヤは前記近接障害物検出用に用いられる前記ＣＮＮに含まれる。また、前記近接障害物検出用に用いられる前記ＣＮＮは、前記第１ないし第ｎコンボリューションレイヤに対応する第ｎないし第１デコンボリューションレイヤを含むが、前記学習装置は前記第ｎないし第１デコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップから逐次的に第ｎデコード済み特徴マップないし第１デコード済み特徴マップを生成するようにする。
【００５４】
例えば、図３を参照すれば、前記近接障害物検出用に用いられる前記ＣＮＮは、前記第１コンボリューションレイヤないし第５コンボリューションレイヤ（１１ないし１５）及び第５デコンボリューションレイヤないし前記第１デコンボリューションレイヤ（１６ないし２０）を含み得り、前記学習装置は、３ｃｈ、６４０×２５６サイズの前記トレーニングイメージ１００を受信し得る。この入力イメージは、前記第１コンボリューションレイヤ１１に入力され、８ｃｈ、３２０×１２８サイズの前記第１エンコード済み特徴マップ１１０が生成され、第２コンボリューションレイヤ１２に入力され、１６ｃｈ、１６０×６４サイズの第２エンコード済み特徴マップ１２０が生成され、第３コンボリューションレイヤ１３に入力され、３２ｃｈ、８０×３２サイズの第３エンコード済み特徴マップ１３０が生成され、第４コンボリューションレイヤ１４に入力され、６４ｃｈ、４０×１６サイズの第４エンコード済み特徴マップ１４０が生成され、第５コンボリューションレイヤ１５に入力され、１２８ｃｈ、２０×８サイズの第５エンコード済み特徴マップ１５０が生成される。
【００５５】
このように、前記コンボリューションレイヤは、前記入力イメージまたは特徴マップのチャネルは増やし、横及び縦のサイズは小さくして、前記エンコード済み特徴マップを生成する機能をする。例えば、前記第２コンボリューションレイヤ１２ないし前記第５コンボリューションレイヤ１５は、前記入力される特徴マップの前記チャネルは２倍に増やし、横や縦サイズは各々１／２に減らして前記エンコード済み特徴マップを生成する。
【００５６】
一方、前記学習装置は、前記第ｎコンボリューションレイヤに対応する前記第ｎデコンボリューションレイヤをもって、前記第ｎエンコード済み特徴マップの横サイズを所定倍数に拡大し、第ｎデコード済特徴マップを生成する。例えば、図３に示した例で、前記学習装置は、前記第５デコンボリューションレイヤ１６をもって、１２８ｃｈ、２０×８サイズの前記第５エンコード済み特徴マップ１５０から、６４ｃｈ、４０×８サイズの第５デコード済特徴マップ１６０を生成するようにする。
【００５７】
一般的にデコンボリューションレイヤは、チャネル数は減らし、横及び縦サイズは大きくするが、本発明に係る前記第ｎデコンボリューションレイヤは、前記第ｎエンコード済み特徴マップのチャネルを減らして、前記横サイズを所定の倍数（例えば２倍）に大きくするが、前記特徴マップの前記縦サイズは変更させないことができる。その理由は、前述のように、本発明は前記グリッドの前記列の中でどの位置が最も高いスコアを有するかを区別することで充分だからである。すなわち、本発明では、従来のセグメンテーションと異なり、すべてのピクセルを確認する必要がなく、前記縦サイズを大きくする必要もない。本発明で提案している方法は、入力と出力の横の解像度が同一の効果があり、従来の横の解像度が低くなる問題がない。縦の解像度も高ければ更によいだろうが、そうすると多くの演算量が必要であるという問題がある。従って、本発明では、少ない演算量で前記近接障害物の検出をするために、前記横の解像度だけを増加させる方法を提示するものである。このため、前述したように、前記第ｎデコンボリューションレイヤは、前記第ｎエンコード済み特徴マップの前記チャネル数を減らして、前記横サイズのみ所定倍数（例えば２倍）に増加させるが、前記縦サイズは変更させないのである。
【００５８】
再度、図３に示したデコーディングプロセスを見ると、前記学習装置は、  前記第４デコンボリューションレイヤ１７をもって、６４ｃｈ、４０×８サイズの前記第５デコード済み特徴マップ１６０から３２ｃｈ、８０×１６サイズの前記第４デコード済み特徴マップ１７０を生成するようにし、前記第３デコンボリューションレイヤ１８をもって３２ｃｈ、８０×１６サイズの前記第４デコード済み特徴マップ１７０から１６ｃｈ、１６０×３２サイズの前記第３デコード済み特徴マップ１８０を生成するようにし、前記第２デコンボリューションレイヤ１９をもって１６ｃｈ、１６０×３２サイズの前記第３デコード済み特徴マップ１８０から８ｃｈ、３２０×６４サイズの前記第２デコード済み特徴マップ１９０を生成するようにし、前記第１デコンボリューションレイヤ２０をもって８ｃｈ、３２０×６４サイズの前記第２デコード済み特徴マップ１９０から４ｃｈ、６４０×１２８サイズの前記第１デコード済み特徴マップ２００を生成するようにする。
【００５９】
このように、前記デコンボリューションレイヤは、入力される特徴マップのチャネルを減らし、前記横及び縦のサイズは大きくしてデコード済み特徴マップを生成する機能をする。例えば、前記第４デコンボリューションレイヤ１７ないし前記第１デコンボリューションレイヤ２０は、前記チャネル数を１／２に減らし、前記入力される特徴マップの前記横や縦サイズは各々２倍にして前記デコード済み特徴マップを生成する。
【００６０】
一方、前記コンボリューションレイヤは、コンボリューション、マックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、ＲｅＬＵのうち少なくとも一つの演算を遂行し、前記デコンボリューションレイヤは、デコンボリューション及びＲｅＬＵのうち少なくとも一つの演算を遂行し得る。
【００６１】
その後、図２を参照すると、Ｓ０２段階において前記学習装置は、Ｃｉ×Ｗｉ×Ｈｉサイズを有する前記デコード済み特徴マップを利用してＣｉＨｉ×Ｗｉ×１サイズを有する第１修正済み特徴マップを生成し得り、この際Ｃｉは、前記チャネルの数を意味し、前記Ｗｉは、前記列のサイズ、前記Ｈｉは、前記デコード済み特徴マップの前記行のサイズを意味する。
【００６２】
すなわち、本発明に係る修正（ｒｅｓｈａｐｉｎｇ）プロセスにおいて、  前記少なくとも一つのデコード済み特徴マップを前記第１方向に第１間隔で区画し、前記第２方向に第２間隔で区画することで、複数の列と複数の行を有する前記グリッドの各セルが生成されるとした場合、前記学習装置は、前記列ごとに前記各々の行の特徴各々をチャネル方向へコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）して、少なくとも一つの修正済み特徴マップを生成する。
【００６３】
図４は、本発明に係る前記近接障害物検出のための前記修正プロセスを簡略的に表した図面である。
【００６４】
図４を参照すると、前記修正プロセスで、図面符号４１０で表示された  特徴マップに示したように、デコード済み特徴マップが行に分かれた後、図面符号４２０で表示された特徴マップに示したように、前記列ごとに前記各々の行の前記特徴各々が前記チャネルの方向にコンカチネートされる。これによって、（Ｃ×Ｗ×Ｈ）サイズの特徴マップは（（Ｃ＊Ｈ）×Ｗ×１）サイズの特徴マップに変換される。
【００６５】
図４の例で、前記図面符号４１０で表示された特徴マップ上で、太線で描かれた四角形各々は、前記デコード済み特徴マップの第１列に対応する各行の特徴各々を示す。仮に、前記図面符号４１０で表示された特徴マップが８つの行を有するなら、前記図面符号４２０で表示された特徴マップは、前記チャネル数の８倍に増えたチャネル数と、前記図面符号４１０で表示された特徴マップの高さの１／８の高さを有し得る。
【００６６】
図３の例で、６４ｃｈ、４０×８サイズの前記第５デコード済み特徴マップ１６０は、第１修正プロセス（ｒｅｓｈａｐｅ５−１）によって、６４＊８ｃｈ、４０×１サイズの前記第１修正済み特徴マップ１６１に変換され、３２ｃｈ、８０×１６サイズの前記第４デコード済み特徴マップ１７０は、第１修正プロセス（ｒｅｓｈａｐｅ４−１）によって、３２＊１６ｃｈ、８０×１サイズの前記第１修正済み特徴マップ１７１に変換され、１６ｃｈ、１６０×３２サイズの前記第３デコード済み特徴マップ１８０は、第１修正プロセス（ｒｅｓｈａｐｅ３−１）によって、１６＊３２ｃｈ、１６０×１サイズの前記第１修正済み特徴マップ１８１に変換され、８ｃｈ、３２０×６４サイズの前記第２デコード済み特徴マップ１９０は、第１修正プロセス（ｒｅｓｈａｐｅ２−１）によって、８＊６４ｃｈ、３２０×１サイズの前記第１修正済み特徴マップ１９１に変換され、４ｃｈ、６４０×１２８サイズの前記第１デコード済み特徴マップ２００は第１修正プロセス（ｒｅｓｈａｐｅ１−１）によって、４＊１２８ｃｈ、６４０×１サイズの前記第１修正済み特徴マップ２０１に変換される。
【００６７】
参考までに、図３では、すべてのデコード済み特徴マップに対して前記第１修正プロセスを遂行するものと説明したが、すべてのデコード済み特徴マップについて修正プロセスを遂行する必要はなく、前記デコード済み特徴マップの一部に対してのみ修正プロセスを遂行しても充分である。
【００６８】
その後、Ｓ０３段階では、ＣｉＨｉ×Ｗｉ×１サイズ有する前記第１修正済み特徴マップを（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１サイズの前記第１修正済み特徴マップに変更するコンボリューション演算を遂行し得る。ここで、前記ＷＩは、前記トレーニングのイメージの列サイズであり、前記Ｗｉは、前記デコード済み特徴マップの列サイズである。このコンボリューション演算は、１×１コンボリューションであり、これは、横、縦は１マスのみ含まれるが、すべてのチャネルにわたっている前記グリッド内のセルを被演算子（ｏｐｅｒａｎｄ）とする演算であり、各第１修正済み特徴マップのＮｃ個の列の各々において前記近接障害物の下段ライン各々がどこに位置するかを知るための過程であり、前記Ｎｃは、前記入力イメージの前記第２方向を所定の大きさに分割した数である。すでに前記第１修正プロセスで前記デコード済み特徴マップのすべての前記列方向の情報を、同時に演算できるように前記チャンネルに統合した状態であるため、前記コンボリューション演算を通じて前記チャンネルの情報をすべて確認し、各列ごとにどの位置に前記近接障害物の前記下段ライン各々が位置するかどうかを確認し得る。
【００６９】
もちろん、前記第５デコード済み特徴マップ１６０の例のように、修正プロセスなしで８×１コンボリューションが遂行される場合、前記第１修正演算と前記１×１コンボリューション演算を一度で行い得る。つまり、特定の特徴マップの高さがＮである場合、Ｎ×１コンボリューションを利用し得る。しかしながら、一般的にハードウェア上、１×１コンボリューション演算は素早くに計算できるが、あまり利用されない形である８×１カーネルまたはＮ×１カーネルは演算速度が著しく遅いため、前記修正プロセス演算と前記１×１コンボリューション演算を分けたほうが効果的である。
【００７０】
前記１×１コンボリューション演算結果を参照すれば、前記入力された特徴マップの前記列サイズがＷｉ、前記元のイメージの前記列サイズがＷＩとした場合、（ＷＩ／Ｗｉ）×Ｎｃくらいのチャネルを有するように前記入力特徴マップが変換される。
【００７１】
図３の例で、６４＊８ｃｈ、４０×１サイズの前記第５デコード済み特徴マップの第１修正済み特徴マップ１６１は、前記１×１コンボリューション演算によってＮｃ＊１６ｃｈ、４０×１サイズの第１修正済み特徴マップ１６２に変更され、３２＊１６ｃｈ、８０×１サイズの前記第４デコード済み特徴マップの第１修正済み特徴マップ１７１は、前記１×１コンボリューション演算によってＮｃ＊８ｃｈ、８０×１サイズの第１修正済み特徴マップ１７２に変更され、１６＊３２ｃｈ、１６０×１サイズの前記第３デコード済み特徴マップの第１修正済み特徴マップ（１８１）は、前記１×１コンボリューション演算によってＮｃ＊４ｃｈ、１６０×１サイズの第１修正済み特徴マップ１８２に変更され、８＊６４ｃｈ、３２０×１サイズの前記第２デコード済み特徴マップの第１修正済み特徴マップ１９１は、前記１×１コンボリューション演算によってＮｃ＊２ｃｈ、３２０×１サイズの第１修正済み特徴マップ１９２に変更され、４＊１２８ｃｈ、６４０×１サイズの前記第１デコード済み特徴マップの第１修正済み特徴マップ２０１は、前記１×１コンボリューション演算によってＮｃ  ｃｈ、６４０×１サイズの第１修正済み特徴マップ２０２に変更される。
【００７２】
再度図２を参照すれば、Ｓ０４段階では、（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１サイズの前記第１修正済み特徴マップはＮｃ×ＷＩ×１サイズを有する第２修正済み特徴マップに修正され得る。ここで前記Ｎｃ個は、前記近接障害物の各々の前記下段ライン各々が前記列ごとにどこに位置するかを特定するために前記入力イメージの前記第２方向に分割した前記行の数である。
【００７３】
そしてＳ０５段階では、前記第２修正済み特徴マップの前記列ごとに前記Ｎｃ個のチャネルに対応する各々の値をノーマライジング（ｎｏｒｍａｌｉｚｉｎｇ）するソフトマックス演算が遂行され、Ｓ０６段階では、前記第２方向に沿って前記各々の列をこれに対応する一番下のセルから確認することで前記近接障害物が存在すると推定される前記特定の行の各々から前記近接障害物各々の前記下段ライン各々の推定位置各々を示す前記入力イメージ内の前記列ごとのセグメンテーション結果が生成される。
【００７４】
前記第２修正プロセスＳ０４で、前記出力された（（ＷＩ／Ｗｉ）×Ｎｃ）×Ｗｉ×１サイズの特徴マップは、データは固定されたままの形だけが変化してＮｃ×ＷＩ×１サイズの形態に変換され得る。そして前記ソフトマックスプロセスＳ０５で各列ごとに前記Ｎｃ個のチャネルの前記値を０〜１の間の値へノーマライジングさせ、前記ノーマライジングされた値を参照して、前記列ごとにそれに対応する最も大きい値を有する特定のチャネル各々を探して前記近接障害物各々の前記下段ライン各々の前記列ごとの位置を推定し得る。
【００７５】
従って、前記１×１コンボリューション演算Ｓ０３と前記修正演算Ｓ０４によって、前記列ごとに前記行の中から前記近接障害物各々の前記下段ライン各々の前記推定位置各々は、各々に対応する最も大きい値を有し得り、前記列ごとの前記行の中のうちの残りの行はそれより小さい値を有するように特徴マップが生成され得る。前記ソフトマックス演算Ｓ０５は、前記入力イメージの列ごとに前記Ｎｃ個の値の中で最も大きい値を見つけ、その位置を出力して前記近接障害物の前記位置各々を探し出すために利用される。そして、前記ノーマライジングされた値を参照して前記列ごとに前記チャネルの値のうち大きい値を有する特定チャネル各々に前記近接障害物各々の前記下段ラインが位置すると推定されると、前記Ｎｃ行のうち、前記列ごとの前記行の中から前記近接障害物各々の前記下段ライン各々の推定位置各々は、対応する最も大きい値を有し、前記列ごとの前記行のうち、残りの行はそれより小さい値を有するようにするセグメンテーション結果が生成され得るようにする。
【００７６】
このプロセスを理解するためには、最終結果（前記ソフトマックス演算の結果）の形態についての理解が必要である。前記ＣＮＮの前記学習方法から期待される出力は、前記入力イメージで前記列ごとに前記Ｎｃ個の行のうち最大の値を有する各々の行を前記近接障害物の位置として探し出すことである。このためには、列ごとにＮｃ個のスコアが必要である。例えば、前記入力イメージ内の前記列の個数（つまり前記入力イメージの前記幅）が６４０個（つまり６４０個のピクセルまたは６４０個の列）ならば、Ｎｃ（チャネル）×６４０（幅）×１（高さ）サイズのスコアマップとして出力されるべきである。
【００７７】
前記出力としてＮｃ（チャネル）×６４０（幅）×１（高さ）サイズの前記スコアマップを生成する前記プロセスを見ると次のとおりである。例えば、前記第１修正（ｒｅｓｈａｐｅ５−１）プロセスによって５１２（６４＊８）（チャネル）×４０（幅）×１（高さ）サイズの前記第５デコード済み特徴マップの前記第１修正済み特徴マップ１６１が生成された場合、この第１修正済み特徴マップの列は、前記入力イメージの列（６４０個）の１／１６の４０個だけである。従って、この場合、１６回の前記１×１コンボリューション演算でＮｃ個のスコアマップを１６回出力すれば解決し得る。従って、図３でＣＯＮＶ＿ＯＵＴ５から出た前記出力１６２サイズは（Ｎｃ＊１６）（チャネル）×４０（幅）×１（高さ）になるようにデザインされるべきだ。そして、（Ｎｃ＊１６）（チャネル）×４０（幅）×１（高さ）サイズの前記スコアマップをＮｃ（チャネル）×６４０（幅）×１（高さ）サイズの前記スコアマップに変換するために、前記第２修正プロセス（ｒｅｓｈａｐｅ５−２）が必要なのである。
【００７８】
図３に示した例を参照に、Ｎｃ＊１６ｃｈ、４０×１サイズの前記特徴マップ１６２は、前記１×１コンボリューションであるＣＯＮＶ＿ＯＵＴ５によってＮｃ  ｃｈ、６４０×１サイズの前記特徴マップ１６３に変換され、前記ソフトマックス演算によって６４０個の列ごとの前記Ｎｃ個の行のうち、前記列ごとに前記行の中から前記近接障害物各々の前記下段ライン各々の前記推定位置各々に対応する最も大きい値を有し、前記列ごとに前記行の中の前記残りの位置はより小さい値を有するように出力１６４が生成される。そしてＮｃ＊８ｃｈ、８０×１サイズの前記特徴マップ１７２、Ｎｃ＊４ｃｈ、１６０×１サイズの前記特徴マップ１８２、Ｎｃ＊２ｃｈ、３２０×１サイズの前記特徴マップ１９２、Ｎｃ  ｃｈ、６４０×１サイズの前記特徴マップ２０２は、ＣＯＮＶ＿ＯＵＴ４ないしＣＯＮＶ＿ＯＵＴ１の前記１×１コンボリューション演算各々によってＮｃ  ｃｈ、６４０×１サイズの前記特徴マップ１７３、１８３、１９３、２０３へ各々変換され、前記ソフトマックス演算によって６４０個の列ごとに前記Ｎｃ個の行のうち、前記近接障害物各々の前記下段ライン各々の前記推定位置各々が存在する前記列ごとにこれに該当する最も大きい値を有し、前記列ごとの前記行の中の残りの位置はより小さい値を有するように各々の出力１７４、１８４、１９４、２０４が生成される。
【００７９】
つまり、前記学習装置が、前記少なくとも一つのデコード済み特徴マップにおいて、前記推定位置各々を示す前記セグメンテーション結果を生成し得り、前記各々の列をそれに対応する一番下のセルから前記第２方向に（つまり、上がりながら）確認することで、前記近接障害物各々の前記下段ライン各々の前記推定位置各々が推定される。前記学習装置は、前記修正済み特徴マップの前記列ごとにコンカチネートされたチャネル上の前記近接障害物各々の前記下段ライン各々の前記推定位置各々を確認することにより、前記セグメンテーション結果を生成し得る。
【００８０】
再び図２を参照すると、Ｓ０７段階では、前記セグメンテーション結果とそれに対応する少なくとも一つの原本正解イメージを参照して少なくとも一つのロスが算出され得り、Ｓ０８段階では、前記ロスをバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記ＣＮＮのパラメータが学習されたり、最適化され得る。
【００８１】
この際、前記原本正解イメージは、前記各々の列に対してそれに対応する一番下のセルから前記第２方向に（つまり、上がりながら）確認したとき、前記近接障害物各々が実際に位置する原本正解位置各々に対応する各々の列が表示されたイメージである。
【００８２】
図５は、本発明によって前記近接障害物検出のための前記入力イメージ及びこれに対応する原本正解イメージを例示的に示す図面である。図５を参照すれば、前記入力イメージで列ごと（６４０個のピクセルを前記第１間隔で区切ってできた列ごとまたは前記６４０個のピクセルごと）に前記下段から上段まで確認するとき、近接障害物を前記近接障害物に指定することで、前記原本正解イメージが生成され得る。前記原本正解イメージが前記入力イメージで前記列ごとに前記近接障害物各々の前記下段ライン各々が、実際に前記Ｎｃ個の行の中に位置する行を示す情報を含み、前記セグメンテーション結果が前記入力イメージで前記列ごとに前記近接障害物各々の前記下段ライン各々が前記Ｎｃ個の行の中のどこに位置するかを推定する情報を含むため、前記デコード済み特徴マップを修正したすべての前記修正済み特徴マップ１６４、１７４、１８４、１９４、２０４は、前記Ｎｃのチャネルを有するように生成されるのである。
【００８３】
前記Ｓ０７段階での前記ロスはクロスエントロピーロス（Ｃｒｏｓｓ−ｅｎｔｒｏｐｙ  ｌｏｓｓ）であり得る。前記ロスは、前記ＣＮＮの前記パラメータを学習したり、最適化したりするためにバックプロパゲーションされる。図３の例では、５つのデコード済み特徴マップを通じて出力を算出するため５つのロスが算出されるが、前記５つのデコード済み特徴マップのうち、少なくとも一部からの前記ロスと、前記出力を参照して前記バックプロパゲーションを遂行し得る。特に、前記第１コンボリューションレイヤ２０から出力された前記第１デコード済み特徴マップを参照して算出した前記ロスを利用することが好ましいが、必須ではない。
【００８４】
前記のようなプロセスを経て、前記ＣＮＮの前記パラメータが学習された状態で、前記学習されたパラメータを有している前記ＣＮＮを利用したテスト装置は、前記入力イメージとしての少なくとも一つのテストイメージから近接障害物を検出し得る。
【００８５】
図６は、本発明に係る前記近接障害物検出のための前記ＣＮＮのテスト方法を説明するため、前記入力のイメージに対する演算の過程を例示的に示す。図６を参照すれば、図３の前記学習装置と異なって、一つの出力だけを生成すれば充分で、前記第５デコード済み特徴マップを利用し、直ちに前記出力を生成し得るため、前記第４デコンボリューションレイヤないし前記第１デコンボリューションレイヤは省略しても構わない。もう一つの例として、前記省略されたデコンボリューションレイヤの一部を含んでも構わないと言える。
【００８６】
具体的な前記プロセスは、図３で説明した内容と類似するため、図６の前記近接障害物検出過程を簡略に説明すると、次の通りだ。まず、前記テスト装置が、前記テストイメージ１００を受信し、前記第１ないし前記第ｎコンボリューションレイヤ（１１ないし１５）をもって前記テストイメージ１００から逐次的にテスト用第１エンコード済み特徴マップないしテスト用第ｎエンコード済み特徴マップ１１０、１２０、１３０、１４０、１５０を各々生成するようにし得る。そして前記テスト装置は少なくとも一つのデコンボリューションレイヤ１６をもって前記テスト用第ｎエンコード済み特徴マップ１５０からテスト用デコード済み特徴マップ１６０を生成するようにし得る。そして、前記テスト用デコード済み特徴マップ１６０から、前記グリッドを参照にし、前記第２方向に羅列された前記列ごとの前記各々の行の特徴各々を前記チャネル方向へコンカチネートしてテスト用修正済み特徴マップ１６１を生成し得る。そして、前記１×１コンボリューション演算および追加修正プロセスを経て、チャンネルが変更されたテスト用特徴マップ１６２と当該チャネルをＮｃ個に合わせて、該当列の前記横軸の個数を前記テストイメージの前記横軸の個数に合わせたテスト用特徴マップ１６３が生成される。そして、前記テスト装置は、前記テスト用修正済み特徴マップの前記列ごとにコンカチネートされたチャンネル上で前記近接障害物各々の前記下段ライン各々の前記列ごとの前記行の中の前記推定位置各々を確認することにより、テスト用セグメンテーション結果１６４を生成して、前記近接障害物を検出し得る。
【００８７】
図７ａは、前記従来の障害物検出結果を簡略に示す図面であり、図７ｂ及び図７ｃは本発明に係る前記障害物の検出結果を簡略に示す図面である。
【００８８】
図７ａは、前記従来の検出方法によって前記近接障害物を検出した例を示すが、すべてのピクセルを見て前記ピクセルが前記道路に該当するピクセルであるか否かを区別しなければならないので、その結果、演算量が多くなってしまう。しかし、図７ｂ及び図７ｃに示した本発明に係る方法によれば、前記近接障害物各々の前記下段ライン各々の位置（黒線部）を推測するためにイメージの下段から上段へ所定の個数（例えば、Ｎｃ個）の前記グリッドセルを確認することで、前記近接障害物を検出し、その結果として少ない演算によって速くて高解像度の前記近接障害物を検出し得る。
【００８９】
さらに、前記従来の技術は処理時間の関係で、前記障害物検出結果の前記横の解像度が前記入力イメージの前記解像度より低いという問題があるが、本発明で新たに提案する方法は、前記入力イメージの前記出力結果の横の解像度が同一であるためこの問題を解決し得る。
【００９０】
また、本発明では、マルチロスを用いた学習時に高解像度情報を利用し、実際のテストでは低解像度特徴マップだけでも高解像度の結果が出力され得る。これにより、前記低解像度の特徴マップから高解像度情報を出力し得り、演算量も少なくて処理速度も早くなり得る。
【００９１】
技術分野の通常の技術者に理解されるものとして、前記で説明されたイメージ、例えばトレーニングイメージ、テストイメージといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得り、特徴マップと演算を遂行するためのデータが前記学習装置及び前記テスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得り、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００９２】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。  前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、  ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されことがあり、その逆も同様である。
【００９３】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００９４】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020038663.tif 000003
【図２】
2020038663.tif 000004
【図３】
2020038663.tif 000005
【図４】
2020038663.tif 000006
【図５】
2020038663.tif 000007
【図６】
2020038663.tif 000008
【図７ａ】
2020038663.tif 000009
【図７ｂ】
2020038663.tif 000010
【図７ｃ】
2020038663.tif 000011