(57)【要約】      （修正有）【課題】学習する方法を学習するメタ学習のためのＣＮＮ基盤の学習方法を提供する。【解決手段】学習装置は、イメージまたはこれに対応する入力特徴マップにコンボリューション演算を適用することにより出力特徴マップを生成するコンボリューションレイヤと、コンボリューションレイヤまたはこれに該当するサブコンボリューションレイヤを迂回してイメージまたはこれに対応する入力特徴マップを次のコンボリューションレイヤにフィードフォワードする残差ネットワークと、を含む。方法は、残差ネットワークの中からドロップアウトされる残差ネットワークを選択し、イメージを残差ネットワークがドロップアウトされた変形ＣＮＮに入力してＣＮＮ出力を生成し、ＣＮＮ出力及びそれに対応するＧｒｏｕｎｄ  Ｔｒｕｔｈを用いてロスを算出し、変形ＣＮＮのパラメータを調整する。【選択図】図５
2020119506.tif 000002
【特許請求の範囲】
【請求項１】
（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ  Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ）含む学習装置を利用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤学習方法において、
（ａ）前記学習装置が、前記入力イメージが取得されると、前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセスを遂行する段階；
（ｂ）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することにより、調整されたエンコード出力特徴マップを生成し、（ｉｉ）前記調整されたエンコード済み出力特徴マップを用いてＣＮＮ出力を生成する段階；及び  
（ｃ）前記学習装置が前記ＣＮＮ出力及びそれに対応するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）を用いて一つ以上のロスを計算し、前記ロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記変形ＣＮＮの少なくとも一つパラメータを調整する段階；
を含むことを特徴とする学習方法。
【請求項２】
前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（ａ）段階で、
前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする  請求項１に記載の学習方法。
【請求項３】
前記（ａ）ないし（ｃ）段階は、同一の入力イメージを利用して、繰り返して遂行されることを特徴とする請求項１に記載の学習方法。
【請求項４】
前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
前記（ａ）段階で、
前記学習装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、
前記（ｂ）段階で、
前記学習装置は、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする請求項１に記載の学習方法。
【請求項５】
前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（ａ）段階で、
ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項４に記載の学習方法。
【請求項６】
前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤであることを特徴とする請求項４に記載の学習方法。
【請求項７】
前記（ｃ）段階において、
前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項６に記載の学習方法。
【請求項８】
ＣＮＮを基盤にテストイメージをテスティングする方法において、
（ａ）学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整した状態で、テスティング装置が前記テストイメージを取得する段階；及び    
（ｂ）前記テスティング装置が前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用してテスト用ＣＮＮ出力を生成する段階；
を含むことを特徴とするテスティング方法。
【請求項９】
前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（１）プロセスで、
前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする  請求項８に記載のテスティング方法。
【請求項１０】
前記（１）ないし（３）プロセスは、同一のトレーニングイメージを利用して、繰り返して遂行されることを特徴とする請求項８に記載のテスティング方法。
【請求項１１】
前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップを生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応する次のコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、
前記（ｂ）段階で、
前記テスティング装置は、（ｂ−ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセスを遂行し、（ｂ−ｉｉ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成することを特徴とする請求項８に記載のテスティング方法。
【請求項１２】
前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
前記（ｂ−ｉ）段階において、
前記テスティング装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択するプロセスを遂行し、
前記（ｂ−ｉｉ）段階において、
前記テスティング装置は、前記特定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする  請求項１１に記載のテスティング方法。
【請求項１３】
前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（ｂ−ｉ）段階において、
ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋ個の中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項１２に記載のテスティング方法。
【請求項１４】
前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤであることを特徴とする請求項１２に記載のテスティング方法。
【請求項１５】
前記（３）プロセスにおいて、
前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項１３に記載のテスティング方法。
【請求項１６】
（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ  Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ）含む学習装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセス、（ＩＩ）（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することで、調整されたエンコード済み出力特徴マップを生成し、  （ｉｉ）前記調整されたエンコード出力特徴マップを用いてＣＮＮ出力を生成するプロセス、及び（ＩＩＩ）前記ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項１７】
前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（Ｉ）プロセスで、
前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記（Ｉ）ないし（ＩＩＩ）プロセスは、同一の入力イメージを利用して、繰り返して遂行されることを特徴とする請求項１６に記載の学習装置。
【請求項１９】
前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
前記（Ｉ）プロセスで、
前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、
前記（ＩＩ）プロセスで、
前記学習プロセッサは、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする請求項１６に記載の学習装置。
【請求項２０】
前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（Ｉ）プロセスで、
ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項１９に記載の学習装置。
【請求項２１】
前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤであることを特徴とする請求項１９に記載の学習装置。
【請求項２２】
前記（ＩＩＩ）プロセスにおいて、
前記プロセッサは、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項２１に記載の学習装置。
【請求項２３】
ＣＮＮを基盤にテストイメージをテスティングするテスティング装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整した状態で、  前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスティング装置。
【請求項２４】
前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（１）プロセスで、
前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする請求項２３に記載のテスティング装置。
【請求項２５】
前記（１）ないし（３）プロセスは、前記同一のトレーニングイメージを利用して、繰り返して遂行されることを特徴とする請求項２３に記載のテスティング装置。
【請求項２６】
前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップをそれぞれ生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれている前記サブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、
前記プロセッサは、（Ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセス、（ＩＩ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、前記テスト用ＣＮＮ出力を生成するプロセスを遂行することを特徴とする請求項２３に記載のテスティング装置。
【請求項２７】
前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
前記（Ｉ）プロセスで、
前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択し、
前記（ＩＩ）プロセスで、
前記学習プロセッサは、前記所定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする請求項２６に記載のテスティング装置。
【請求項２８】
前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
前記（Ｉ）プロセスで、
ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項２７に記載のテスティング装置。
【請求項２９】
前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤであることを特徴とする請求項２７に記載のテスティング装置。
【請求項３０】
前記（３）プロセスにおいて、
前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項２８に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メタ学習（Ｍｅｔａ  Ｌｅａｒｎｉｎｇ）、すなわち、学習する方法を学習するためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤の学習方法に関し；  より詳細には、（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ  Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ）含む学習装置を利用した前記ＣＮＮ基盤の学習方法において、（ａ）前記入力イメージが取得されると、前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセスを遂行する段階；（ｂ）（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することで、調整されたエンコード済み出力特徴マップを生成し、  （ｉｉ）前記調整されたエンコード出力特徴マップを用いてＣＮＮ出力を生成する段階；及び（ｃ）前記ＣＮＮ出力及びそれに対応するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）を用いて一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整する段階；  を含むことを特徴とする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置に関する。
【背景技術】
【０００２】
ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）は、物やデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別することができる。このため「機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」という方法が考案された。これはコンピュータをもって入力された多くのデータから類似した物を分類するようにさせる技術である。格納されている犬の写真と似たような写真が入力されれば、これを犬の写真だとコンピュータが分類するようにしたのである。
【０００３】
データをいかに分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
【０００４】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは、機械学習分野で非常に有用なツールとなった。
【０００５】
イメージセグメンテーション（Ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージを受けて、出力としてラベリングされたイメージを生成する方法である。最近、ディープランニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）技術が脚光を浴びて、セグマンテーションでもディープラーニングを多く使う傾向にある。従来の技術によれば、前記イメージセグマンテーションは（ｉ）入力イメージに一つ以上のコンボリューション演算を適用することで特徴ベクトルを生成し、（ｉｉ）前記特徴ベクトルに一つ以上のＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）演算を適用することでラベルイメージを生成して遂行される。他の従来の技術によれば、エンコーダ・デコーダ（Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ）構成は、エンコーダを利用して入力イメージから特徴を抽出し、デコーダを利用してラベルイメージを復元するために考案された。
【０００６】
図１は、一般的なＣＮＮを利用してセグメンテーションを遂行するプロセスを図示した図面である。
【０００７】
図１を参照すれば、従来の車線の検出方法によれば、学習装置は入力イメージを受けて、多数のコンボリューションレイヤにおいて、多数のコンボリューション演算及びＲｅＬＵのような非線形演算を前記入力イメージに適用することで多数の特徴マップを取得して、多数のデコンボリューションレイヤにおいて多数のデコンボリューション演算及びソフトマックス（Ｓｏｆｔｍａｘ）演算を、前記特徴マップに適用することによって、セグメンテーション結果を得る。
【０００８】
図２ａ及び図２ｂは、ニューラルネットワーク内のドロップアウト（Ｄｒｏｐｏｕｔ）を示した図面である。
【０００９】
前記ドロップアウトは、ＦＣレイヤでよく利用され、前記ＦＣレイヤの全てのノードはつながっているため、過剰適合（Ｏｖｅｒｆｉｔｔｉｎｇ）が頻発する問題がある。例えば、犬を識別する学習プロセスを遂行する上で、トレーニングイメージが白の犬のイメージを含む場合、白の犬だけが犬に識別され得る。これは、前記トレーニングイメージの数が少なかったり、ネットワークの容量が大きかったりするために発生する問題である。
【００１０】
図２ａ及び図２ｂは、それぞれドロップアウトのないニューラルネットワークの構成及びドロップアウトが存在するニューラルネットワークの構成を示した図面である。ドロップアウトは、前述した問題を解決するために導入された方法の一つである。図２ａは、二つのＦＣレイヤを有するニューラルネットワークの構成を示したものである。図２ａを参照すれば、一つのＦＣレイヤ内のノードそれぞれの値は、それぞれに対応される重み付け値を（ｉ）各入力の要素値のそれぞれに、又は（ｉｉ）以前ＦＣレイヤ内の各ノードの要素値のそれぞれに適用して算出される。
【００１１】
図２ｂは、一部のノードがドロップアウトされるニューラルネットワークの構成を示した図面である。この際、前記ニューラルネットワークは、一つ以上のＦＣレイヤ内の一つ以上の任意のノードがドロップアウトされる学習プロセスを遂行する。図２ｂで、「Ｘ」で示されたノードは、ドロップアウトされたノードである。
【００１２】
このように、全体重み付け値が学習プロセスに寄与するのではなく、一部のノードだけが学習プロセスに寄与される。選択されるノードは各学習プロセスごとに任意に変更される。
【００１３】
しかし、ニューラルネットワークの各レイヤ内部のノードをドロップアウトすることなく、一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ）を利用して学習プロセスの性能向上のための方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、前述した問題点を全て解決することを目的とする。
【００１５】
本発明は、レイヤ内の一部のノードをドロップアウトすることなく、レイヤ自体にドロップアウトを適用し得る方法を提供することを他の目的とする。
【００１６】
また、本発明は、学習データ量を増加させたり、特徴の数を減少させることなく、過剰適合問題を解決するための方法を提供することをまた他の目的とする。
【課題を解決するための手段】
【００１７】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１８】
本発明の一態様によれば、（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ  Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ）含む学習装置を利用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤学習方法において、（ａ）前記学習装置が、前記入力イメージが取得されると、前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセスを遂行する段階；（ｂ）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することにより、調整されたエンコード出力特徴マップを生成し、（ｉｉ）前記調整されたエンコード済み出力特徴マップを用いてＣＮＮ出力を生成する段階；及び（ｃ）前記学習装置が前記ＣＮＮ出力及びそれに対応するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）を用いて一つ以上のロスを計算し、前記ロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記変形ＣＮＮの少なくとも一つパラメータを調整する段階；を含むことを特徴とする学習方法が提供される。
【００１９】
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（ａ）段階で、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
【００２０】
一例として、前記（ａ）ないし（ｃ）段階は、同一の入力イメージを利用して、繰り返して遂行される。
【００２１】
一例として、前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（ａ）段階で、前記学習装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、前記（ｂ）段階で、前記学習装置は、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。
【００２２】
一例として、  前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（ａ）段階で、ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
【００２３】
一例として、前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤである。
【００２４】
一例として、前記（ｃ）段階において、前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
【００２５】
本発明の他の態様によれば、  ＣＮＮを基盤にテストイメージをテスティングする方法において、（ａ）学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整した状態で、テスティング装置が前記テストイメージを取得する段階；及び（ｂ）前記テスティング装置が前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用してテスト用ＣＮＮ出力を生成する段階；を含むことを特徴とするテスティング方法が提供される。
【００２６】
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（１）プロセスで、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
【００２７】
一例として、前記（１）ないし（３）プロセスは、同一のトレーニングイメージを利用して、繰り返して遂行される。
【００２８】
一例として、前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップを生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応する次のコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、前記（ｂ）段階で、前記テスティング装置は、（ｂ−ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセスを遂行し、（ｂ−ｉｉ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成する。
【００２９】
一例として、前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（ｂ−ｉ）段階において、前記テスティング装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択するプロセスを遂行し、前記（ｂ−ｉｉ）段階において、前記テスティング装置は、前記特定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。
【００３０】
一例として、前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（ｂ−ｉ）段階において、ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋ個の中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
【００３１】
一例として、前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤである。
【００３２】
一例として、前記（３）プロセスにおいて、前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
【００３３】
本発明のまた他の態様によれば、（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ  Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ）含む学習装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセス、（ＩＩ）（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することで、調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記調整されたエンコード出力特徴マップを用いてＣＮＮ出力を生成するプロセス、及び（ＩＩＩ）前記ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が提供される。
【００３４】
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（Ｉ）プロセスで、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
【００３５】
一例として、前記（Ｉ）ないし（ＩＩＩ）プロセスは、同一の入力イメージを利用して、繰り返して遂行される。
【００３６】
一例として、前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（Ｉ）プロセスで、前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、前記（ＩＩ）プロセスで、前記学習プロセッサは、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。一例として、  前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（Ｉ）プロセスで、ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
【００３７】
一例として、前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤである。
【００３８】
一例として、前記（ＩＩＩ）プロセスにおいて、前記プロセッサは、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
【００３９】
本発明のまた他の態様によれば、ＣＮＮを基盤にテストイメージをテスティングするテスティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整した状態で、  前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が提供される。
【００４０】
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（１）プロセスで、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
【００４１】
一例として、前記（１）ないし（３）プロセスは、前記同一のトレーニングイメージを利用して、繰り返して遂行される。
【００４２】
一例として、前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップをそれぞれ生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれている前記サブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、前記プロセッサは、（Ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセス、（ＩＩ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、前記テスト用ＣＮＮ出力を生成するプロセスを遂行する。
【００４３】
一例として、前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（Ｉ）プロセスで、前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択し、前記（ＩＩ）プロセスで、前記学習プロセッサは、前記所定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。
【００４４】
一例として、前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（Ｉ）プロセスで、ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
【００４５】
一例として、前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤである。
【００４６】
一例として、前記（３）プロセスにおいて、前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
【発明の効果】
【００４７】
本発明によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の中の一部レイヤを任意にドロップアウトして、学習能力を向上させ得る効果がある。
【００４８】
また、本発明によれば、多様な特徴マップを利用して学習プロセスを遂行し得る効果がある。
【図面の簡単な説明】
【００４９】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【００５０】
【図１】従来のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用してセグメンテーションを遂行するプロセスを簡略的に示した図面である。
【図２ａ】ドロップアウトのないニューラルネットワークの構成を示した図面である。
【図２ｂ】ドロップアウトが存在するニューラルネットワークの構成を示した図面である。
【図３】は、本発明による残差ネットワーク（Ｒｅｓｉｄｕａｌ  ｎｅｔｗｏｒｋ）及びブリッジレイヤを含むＣＮＮの構成を示した図面である。
【図４】は、図３において参照番号４００として示されたコンボリューションレイヤ内の多数の残差ネットワーク構成を示した図面である。
【図５】は、本発明に係る一つ以上のレイヤをドロップアウトして学習するプロセスを示したフローチャートである。
【図６】は、本発明に係る一つ以上の残差ネットワーク及び一つ以上のブリッジレイヤがドロップアウトされた変形ＣＮＮを示した図面である。
【発明を実施するための形態】
【００５１】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに分類され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００５２】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００５３】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５４】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００５５】
図３は、本発明に係る残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋ）及びブリッジレイヤー（Ｂｒｉｄｇｅ  Ｌａｙｅｒ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の構成を示した図面である。
【００５６】
図３を参照すれば、本発明に係るコンボリューションニューラルネットワーク、つまり、ＣＮＮに基盤した学習装置は、第１コンボリューションレイヤ（１００＿１）、第２コンボリューションレイヤ（１００＿２）、．．．  、第Ｎコンボリューションレイヤ（１００＿Ｎ）、及び第Ｎデコンボリューションレイヤ（２００＿Ｎ）、．．．  、第２デコンボリューションレイヤ（１００＿２）、第１デコンボリューションレイヤ（２００＿１）を含む。そして、中間レイヤ、すなわち前記ブリッジレイヤは、各コンボリューションレイヤと、それに対応するデコンボリューションレイヤとの間に存在する。一方、本発明に係る前記ＣＮＮ前記構成において、前記ブリッジレイヤは必須的な構成要素ではない。第１ブリッジレイヤ（３００＿１）は、前記第１コンボリューションレイヤ（１００＿１）と、前記第１デコンボリューションレイヤ（２００＿１）との間に位置する。第２ブリッジレイヤ（３００＿１）は、前記第２コンボリューションレイヤ（１００＿１）と、前記第２デコンボリューションレイヤ（２００＿１）との間に位置する。第Ｎブリッジレイヤ（３００＿Ｎ）は、前記第Ｎコンボリューションレイヤ（１００＿Ｎ）と、前記第Ｎデコンボリューションレイヤ（２００＿Ｎ）との間に位置し、その他もこれと類似する。また、それぞれの前記コンボリューションレイヤは、前記コンボリューションレイヤのうち、少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、入力イメージまたはこれに対応されるエンコード済み入力特徴マップをこれに対応される次のコンボリューションレイヤにフィードフォワード（Ｆｅｅｄ  Ｆｏｒｗａｒｄ）し得るそれぞれの残差ネットワーク（１１０＿１ないし１１０＿Ｎ）を含む。
【００５７】
図３では、前記残差ネットワーク（１１０＿１ないし１１０＿Ｎ）それぞれは、それに対応するコンボリューションレイヤと、それに対応するデコンボリューションレイヤとの間に位置するものと示されているが、これは簡略的に示したものである。前記残差ネットワークの中の一つの構成は、図４を参照して詳細に説明されるであろう。また、図３では示さなかったものの、サブデコンボリューションレイヤの中の少なくとも一つを迂回する前記残差ネットワークの少なくとも一つは、それぞれの前記デコンボリューションレイヤ内にも存在し得る。一方、前記ブリッジレイヤは、膨張コンボリューション（Ｄｉｌａｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤであり得る。
【００５８】
図４は、図３でコンボリューションレイヤ、つまり、参照番号４００として示されたレイヤ内で前記残差ネットワークの構成を示した図面である。
【００５９】
図４は、三つのサブコンボリューションレイヤ（１００＿３＿ａ，１００＿３＿ｂ，１００＿３＿ｃ）及び三つのＲｅＬＵレイヤが配置されている前記第３コンボリューションレイヤ（１００＿３）の構成を示した図面である。つまり、前記第３コンボリューションレイヤ（１００＿３）内で、前記第１サブコンボリューションレイヤ（１００＿３＿ａ）、第１ＲｅＬＵレイヤ、前記第２サブコンボリューションレイヤ（１００＿３＿ｂ）、第２ＲｅＬＵレイヤ、前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）、及び第３ＲｅＬＵレイヤが順次に配置されている。
【００６０】
そして、前記第３コンボリューションレイヤ（１００＿３）は（ｉ）前記第１サブコンボリューションレイヤ（１００＿３＿ａ）、前記第１ＲｅＬＵ、前記第２サブコンボリューションレイヤ（１００＿３＿ｂ）、前記第２ＲｅＬＵ及び前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）を迂回して、前記第２コンボリューションレイヤ（１００＿２）から出力された第２エンコード済み出力特徴マップをフィードフォワードする第１残差ネットワーク（１１０＿３＿ａ）、  （ｉｉ）前記第２サブコンボリューションレイヤ（１００＿３＿ｂ）、前記第２ＲｅＬＵ及び前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）を迂回して、前記第１ＲｅＬＵから出力された第１非線形出力特徴マップをフィードフォワードする第２残差ネットワーク（１１０＿３＿ｂ）、及び（ｉｉｉ）前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）を迂回して、前記第２ＲｅＬＵから出力された第２非線形出力特徴マップをフィードフォワードする第３残差ネットワーク（１１０＿３＿ｃ）を含み得る。
【００６１】
前記第３ＲｅＬＵの入力端において、（ｉ）前記第２コンボリューションレイヤ（１００＿２）から出力された前記第２エンコード済み出力特徴マップ、（ｉｉ）前記第１ＲｅＬＵから出力された前記第１非線形出力特徴マップ、（ｉｉｉ）前記第２ＲｅＬＵから出力された前記第２非線形出力特徴マップ、及び（ｉｖ）前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）から出力された特徴マップはコンカチネート（Ｃｏｎｃａｔｅｎａｔｅ）される。そして、前記コンカチネートされた特徴マップは前記第３ＲｅＬＵに入力されることにより、第３非線形出力特徴マップを生成する。この際、前記第３非線形出力特徴マップは、第３エンコード済み出力特徴マップの役割を果たし得る。前記第３エンコード済み出力特徴マップは前記第３ブリッジレイヤ（３００＿３）を経て、前記第３デコンボリューションレイヤに伝達され得る。
【００６２】
そして、前記ＲｅＬＵレイヤの位置と迂回経路とは、ネットワーク設計によって様々に変更され得る。
【００６３】
これらの構成により、様々な特徴マップ、つまり、すべての前記サブコンボリューションレイヤを経て生成された特徴マップ、二つのサブコンボリューションレイヤを経て生成された特徴マップ、一つのサブコンボリューションレイヤのみを経て生成された特徴マップ、及びサブコンボリューションレイヤを経ることなく生成された特徴マップが利用され得る。
【００６４】
図５は、本発明に係る一つ以上のレイヤをドロップアウトして学習するプロセスを示したフローチャートである。
【００６５】
図５を参照して本発明に係る一つ以上のレイヤをドロップアウトして前記ＣＮＮを学習するプロセスを説明すると次のとおりである。まず、入力イメージ、例えば、トレーニングイメージが前記学習装置に入力されると、前記学習装置は、前記残差ネットワーク及び前記ブリッジレイヤの中から、ドロップアウトされる特定の残差ネットワーク及び特定ブリッジレイヤを任意に選択する（Ｓ０１）。
【００６６】
そして、前記学習装置は、前記特定の残差ネットワーク及び前記特定ブリッジレイヤがドロップアウトされた変形ＣＮＮを構成する（Ｓ０２）。
【００６７】
図６は、本発明に係る一つ以上の残差ネットワーク及び一つ以上のブリッジレイヤがドロップアウトされた変形ＣＮＮを示した図面である。
【００６８】
図６を参照すれば、前記第３コンボリューションレイヤ（１００＿３）内で、第１残差ネットワーク（１１０＿３＿ａ）及び第２残差ネットワーク（１１０＿３＿ｂ）は、ドロップアウトされる前記特定の残差ネットワークとして選択され、前記第（１−４）コンボリューションレイヤ（１００＿４）内で、第１残差ネットワーク（１１０＿４＿ａ）及び第３残差ネットワーク（１１０＿４＿ｃ）は、ドロップアウトされる前記特定の残差ネットワークとして選択される。そして、前記第４ブリッジレイヤ（３００＿４）も、ドロップアウトされる前記特定ブリッジレイヤとして選択される。つまり、図６で示したように、前記変形ＣＮＮは、「Ｘ」で示された経路やレイヤがドロップアウトされるように構成される。
【００６９】
前記学習装置全体を考慮すれば、例えば、それぞれのＮ個の前記コンボリューションレイヤ及びそれぞれのＮ個の前記デコンボリューションレイヤは、それぞれＬ個のサブコンボリューションレイヤ及びＬ個のサブデコンボリューションレイヤを含む。それぞれの前記Ｎ個のコンボリューションレイヤ及びそれぞれの前記Ｎ個のデコンボリューションレイヤは、前記Ｌ個のサブコンボリューションレイヤの少なくとも一つ及び前記Ｌ個のサブデコンボリューションレイヤの少なくとも一つが、それぞれ迂回されるそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含む。そして、前記Ｓ０２段階において、前記中間レイヤの数がＫ個である場合、Ｋ個の前記中間レイヤ及び（２ｘＮｘＭ）個の前記サブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークが任意に選択される。
【００７０】
他の例として、前記Ｓ０２段階において、ドロップアウトされる前記レイヤとして前記残差ネットワークのみが選択され得る。
【００７１】
例えば、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを含み、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの中から少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含むとした場合、前記Ｓ０２段階において、（ＮｘＭ）個の前記サブ残差ネットワークの中からドロップアウトされる前記特定のサブ残差ネットワークが任意に選択され得る。これは、前記学習装置が前記ブリッジレイヤを含む場合及び含まない場合すべてに適用され得る。
【００７２】
再び図５を参照すれば、前記学習装置は、前記ドロップアウトが適用された前記変形ＣＮＮを基盤に、前記入力イメージから調整されたエンコード済み出力特徴マップを生成し、これを利用してＣＮＮ出力を生成する（Ｓ０３）。この際、前記学習装置は、前記ＣＮＮ出力及びこれに対応するＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）を利用して一つ以上のロスを算出し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整する（Ｓ０４）。
【００７３】
一方、前記学習方法は、同一の入力イメージを利用して前述したプロセスを繰り返しても遂行されることができ、様々な入力イメージを利用して前記変形ＣＮＮの構成を変更することによっても遂行されることができる。
【００７４】
そして、図２ａないし図６に示された前記学習方法は、ＣＮＮテスティング方法においてもそのまま適用され得る。
【００７５】
参考までに、以下の説明において混乱を避けるために、前記学習プロセスに関連する用語に「学習用」という単語が追加され、テスティングプロセスに関連する用語に「テスト用」という単語が追加された。
【００７６】
つまり、ＣＮＮを基盤にテストイメージをテスティングする方法は、（ａ）学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前述学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングイメージを入力することにより、学習用調整されたエンコード出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを用いて学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整した状態で、テスティング装置が前記テストイメージを取得する段階；及び（ｂ）前記テスティング装置が前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用してテスト用ＣＮＮ出力を生成する段階；を含む。
【００７７】
そして、本発明に係るメタ学習、すなわち、学習する方法を学習するための前記ＣＮＮ基盤の学習方法は、レイヤごと（Ｌａｙｅｒ−Ｗｉｓｅ）ドロップアウト、確率的アンサンブル（Ｓｔｏｃｈａｓｔｉｃ  Ｅｎｓｅｍｂｌｅ）、及びバーチャルドライビングなどに適用され得る。
【００７８】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えばトレーニングイメージ及びテストイメージといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得り、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持され得り、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００７９】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００８０】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００８１】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020119506.tif 000003
【図２ａ】
2020119506.tif 000004
【図２ｂ】
2020119506.tif 000005
【図３】
2020119506.tif 000006
【図４】
2020119506.tif 000007
【図５】
2020119506.tif 000008
【図６】
2020119506.tif 000009