(57)【要約】【課題】ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出する方法を提供する。【解決手段】学習装置が、第ｋブロックの第１コンボリューションレイヤをもって第１＿１特徴マップないし第ｋ＿１特徴マップ又はこれから所定演算により得られたそれぞれの特徴マップを要素ごとに合算するようにし、第ｋブロックの第２コンボリューションレイヤをもって第ｋ＿２特徴マップを生成させる段階；プーリングレイヤをもって第ｎブロックから出力される第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩ領域をプーリングして生成されたプーリングされた特徴マップを特徴分類器に入力させる段階；ロスレイヤをもって特徴分類器の出力値とこれに対応する原本正解とを参照してロスを算出させる段階；を含むことを特徴とする方法を提供し、ハードウェアを最適化してＣＮＮ処理量を向上させる。【選択図】図３ａ
2020119524.tif 000002
【特許請求の範囲】
【請求項１】
ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出する方法において、
（ａ）トレーニングイメージが入力されると、学習装置が、（ｉ）第１ブロックの第１コンボリューションレイヤをもって、前記トレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第１＿２特徴マップを生成させる段階；
（ｂ）ｋを２からｎまで増加させながら、前記学習装置が、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第（ｋ−１）ブロックから出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを生成させ、（ｉｉ）前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップないし前記第ｋ＿１特徴マップ又はこれから所定演算により得られた特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第ｋ＿２特徴マップを生成させる段階；及び
（ｃ）前記学習装置が、（ｉ）プーリングレイヤをもって第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応する領域をプーリングするようにしてプーリングされた特徴マップを生成させ、（ｉｉ）前記プーリングされた特徴マップを特徴分類器に入力し、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記学習装置は、
第１バッチ正規化レイヤをもって、前記第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）して第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって、（ｉ）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成した後、（ｉｉ）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ｂ）段階で、
前記学習装置は、
（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第ｋ＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記第ｋ＿１特徴マップ上の特徴値それぞれを正規化して第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記第１＿１正規化された特徴マップないし前記第ｋ＿１正規化された特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの前記特徴値に対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させて第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ａ）段階で、
前記学習装置は、
（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって前記第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにして第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成させた後、（２）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ｂ）段階で、
前記学習装置は、
（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第１＿１特徴マップないし前記第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにして第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記第ｋ＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿１非線形特徴マップを生成させた後、（２）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力するようにすることを特徴とする請求項１に記載の方法。
【請求項４】
前記（ａ）段階で、
前記学習装置は、
（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記第１＿２特徴マップ上の特徴値の平均と分散とを利用して前記第１＿２特徴マップ上の前記特徴値それぞれを正規化して第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって（１）前記第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿２非線形特徴マップを生成させた後、（２）前記第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、
前記（ｂ）段階で、
前記学習装置は、
（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記第ｋ＿２特徴マップ上の特徴値の平均と分散とを利用して前記第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化して第ｋ＿２正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって（１）前記第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿２非線形特徴マップを生成させた後、（２）前記第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする請求項１に記載の方法。
【請求項５】
前記学習装置は、
（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって、前記トレーニングイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする請求項１に記載の方法。
【請求項６】
前記Ｃは、前記ＭｘＭより小さいことを特徴とする請求項５に記載の方法。
【請求項７】
ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出するテスト方法において、
（ａ）学習装置が、（Ｉ）（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて学習用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第１＿２特徴マップを生成させる第１プロセスを遂行し、（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第ｋ−１ブロックから出力される学習用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップに対して１ｘ１コンボリューション演算を適用させて学習用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップないし前記学習用第ｋ＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して学習用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記学習用第ｋ−１合成特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第ｋ＿２特徴マップを生成させる第２プロセスを遂行し、（ＩＩＩ）（ｉ）プーリングレイヤをもって、学習用第ｎ＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップ上で学習用ＲＯＩに対応する学習用領域をプーリングするようにして学習用プーリングされた特徴マップを生成させ、（ｉｉ）前記学習用プーリングされた特徴マップを特徴分類器に入力するようにして、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの学習用物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし前記第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整するようにする第３プロセスを遂行した状態で、テスト装置が、（ｉ）テストイメージを取得し、前記第１ブロックの前記第１コンボリューションレイヤをもって、前記テストイメージに対して１ｘ１コンボリューション演算を適用させてテスト用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの前記第２コンボリューションレイヤをもって、前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第１＿２特徴マップを生成するようにする段階；
（ｂ）ｋを２からｎまで増加させながら、前記テスト装置が、（ｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記第ｋ−１ブロックから出力されるテスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップないし前記テスト用第ｋ＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップのうち少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの前記第２コンボリューションレイヤをもって、前記テスト用第ｋ−１合成特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第ｋ＿２特徴マップを生成させる段階；及び
（ｃ）前記テスト装置が、（ｉ）前記プーリングレイヤをもってテスト用第ｎ＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップ上でテスト用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応するテスト用領域をプーリングするようにしてテスト用プーリングされた特徴マップを生成させ、（ｉｉ）前記テスト用プーリングされた特徴マップを前記特徴分類器に入力し、前記特徴分類器をもって前記テストイメージを認識するか又は前記テストイメージ上の少なくとも一つのテスト用物体を検出するようにする段階；
を含むことを特徴とするテスト方法。
【請求項８】
前記（ａ）段階で、
前記テスト装置は、
第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）してテスト用第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって（ｉ）前記テスト用第１＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成した後、（ｉｉ）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ｂ）段階で、
前記テスト装置は、
（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第ｋ＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第ｋ＿１特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記テスト用第１＿１正規化された特徴マップないし前記テスト用第ｋ＿１正規化された特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上の前記特徴値それぞれに対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させてテスト用第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする請求項７に記載のテスト方法。
【請求項９】
前記（ａ）段階で、
前記テスト装置は、
（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって前記テスト用第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにしてテスト用第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記テスト用第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成させた後、（２）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ｂ）段階で、
前記テスト装置は、
（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップないし前記テスト用第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにしてテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記テスト用第ｋ＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第ｋ＿１非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする請求項７に記載のテスト方法。
【請求項１０】
前記（ａ）段階で、
前記テスト装置は、
（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記テスト用第１＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿２特徴マップ上のそれぞれの前記特徴値を正規化してテスト用第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって（１）前記テスト用第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿２非線形特徴マップを生成させた後、（２）前記テスト用第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、
前記（ｂ）段階で、
前記テスト装置は、
（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記テスト用第ｋ＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿２正規化された特徴マップを生成させ、
（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって（１）前記テスト用第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第ｋ＿２非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする請求項７に記載のテスト方法。
【請求項１１】
前記テスト装置が、
（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって、前記テストイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記テスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする請求項７に記載のテスト方法。
【請求項１２】
前記Ｃは、前記ＭｘＭより小さいことを特徴とする請求項１１に記載のテスト方法。
【請求項１３】
ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出する学習装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第１＿２特徴マップを生成させるプロセス；（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第ｋ−１ブロックから出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを生成するようにし、（ｉｉ）前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップないし前記第ｋ＿１特徴マップ又はこれから所定演算により得られた特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第ｋ＿２特徴マップを生成させるプロセス；及び（ＩＩＩ）（ｉ）プーリングレイヤをもって第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応する領域をプーリングするようにしてプーリングされた特徴マップを生成させ、（ｉｉ）前記プーリングされた特徴マップを特徴分類器に入力し、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整するプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする学習装置。
【請求項１４】
前記（Ｉ）プロセスで、
前記プロセッサは、
第１バッチ正規化レイヤをもって、前記第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）して第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって（ｉ）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成した後、（ｉｉ）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ＩＩ）段階で、
前記プロセッサは、
（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第ｋ＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記第ｋ＿１特徴マップ上の前記特徴値それぞれを正規化して第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記第１＿１正規化された特徴マップないし前記第ｋ＿１正規化された特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの前記特徴値に対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させて第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする請求項１３に記載の学習装置。
【請求項１５】
前記（Ｉ）プロセスで、
前記プロセッサは、
（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって、前記第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにして第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成させた後、（２）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ＩＩ）プロセスで、
（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第１＿１特徴マップないし前記第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにして第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記第ｋ＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿１非線形特徴マップを生成させた後、（２）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力するようにすることを特徴とする請求項１３に記載の学習装置。
【請求項１６】
前記（Ｉ）プロセスで、
前記プロセッサは、（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記第１＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記第１＿２特徴マップ上の前記特徴値それぞれを正規化して第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって（１）前記第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿２非線形特徴マップを生成させた後、（２）前記第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、
前記（ＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記第ｋ＿２特徴マップ上の特徴値の平均と分散とを利用して前記第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化して第ｋ＿２正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって（１）前記第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿２非線形特徴マップを生成させた後、（２）前記第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする請求項１３に記載の学習装置。
【請求項１７】
前記プロセッサは、
（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって、前記トレーニングイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする請求項１３に記載の学習装置。
【請求項１８】
前記Ｃは、前記ＭｘＭより小さいことを特徴とする請求項１７に記載の学習装置。
【請求項１９】
ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出するテスト装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
学習装置が、（１）（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて学習用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第１＿２特徴マップを生成させる第１プロセスを遂行し、（２）ｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第ｋ−１ブロックから出力される学習用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップに対して１ｘ１コンボリューション演算を適用させて学習用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップないし前記学習用第ｋ＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して学習用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記学習用第ｋ−１合成特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第ｋ＿２特徴マップを生成させる第２プロセスを遂行し、（３）（ｉ）プーリングレイヤをもって学習用第ｎ＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップ上で学習用ＲＯＩに対応する学習用領域をプーリングするようにして学習用プーリングされた特徴マップを生成させ、（ｉｉ）前記学習用プーリングされた特徴マップを特徴分類器に入力するようにして、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの学習用物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし前記第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整するようにする第３プロセスを遂行した状態で、（Ｉ）（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもってテストイメージに対して１ｘ１コンボリューション演算を適用させてテスト用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの前記第２コンボリューションレイヤをもって、前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第１＿２特徴マップを生成させるプロセス、（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記第ｋ−１ブロックから出力されるテスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対���て１ｘ１コンボリューション演算を適用させてテスト用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップないし前記テスト用第ｋ＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップのうち少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの前記第２コンボリューションレイヤをもって、前記テスト用第ｋ−１合成特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第ｋ＿２特徴マップを生成させるプロセス及び（ＩＩＩ）（ｉ）前記プーリングレイヤをもってテスト用第ｎ＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップ上でテスト用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応するテスト用領域をプーリングするようにしてテスト用プーリングされた特徴マップを生成させ、（ｉｉ）前記テスト用プーリングされた特徴マップを前記特徴分類器に入力し、前記特徴分類器をもって前記テストイメージを認識するか又は前記テストイメージ上の少なくとも一つのテスト用物体を検出するようにするプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスト装置。
【請求項２０】
前記（Ｉ）プロセスで、
前記プロセッサは、
第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）してテスト用第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって（ｉ）前記テスト用第１＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成した後、（ｉｉ）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサは、
（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第ｋ＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第ｋ＿１特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記テスト用第１＿１正規化された特徴マップないし前記テスト用第ｋ＿１正規化された特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上の前記特徴値それぞれに対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させてテスト用第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする請求項１９に記載のテスト装置。
【請求項２１】
前記（Ｉ）プロセスで、
前記プロセッサは、（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって、前記テスト用第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにしてテスト用第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記テスト用第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成させた後、（２）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、
前記（ＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップないし前記テスト用第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにしてテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記テスト用第ｋ＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第ｋ＿１非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする請求項１９に記載のテスト装置。
【請求項２２】
前記（Ｉ）プロセスで、
前記プロセッサは、（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記テスト用第１＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿２特徴マップ上のそれぞれの前記特徴値を正規化してテスト用第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって（１）前記テスト用第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿２非線形特徴マップを生成させた後、（２）前記テスト用第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、
前記（ＩＩ）プロセスで、
前記プロセッサは、
（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記テスト用第ｋ＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿２正規化された特徴マップを生成させ、
（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって、（１）前記テスト用第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第ｋ＿２非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする請求項１９に記載のテスト装置。
【請求項２３】
前記プロセッサは、
（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって、前記テストイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記テスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする請求項１９に記載のテスト装置。
【請求項２４】
前記Ｃは、前記ＭｘＭより小さいことを特徴とする請求項２３に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、核心性能指数（Ｋｅｙ  Ｐｅｒｆｏｒｍａｎｃｅ  Ｉｎｄｅｘ：ＫＰＩ）を満たすことができるハードウェア最適化が行われるように、ＣＮＮで複数のブロック内のコンボリューションレイヤを利用して入力イメージから特徴を抽出する方法に関し、より詳細には、ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出する方法において、（ａ）トレーニングイメージが入力されると、学習装置が、（ｉ）第１ブロックの第１コンボリューションレイヤをもって、前記トレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第１＿２特徴マップを生成させる段階：（ｂ）ｋを２からｎまで増加させながら、前記学習装置が、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって、第（ｋ−１）ブロックから出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを生成させ、（ｉｉ）前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップないし前記第ｋ＿１特徴マップ又はこれから所定演算により得られた特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて、第ｋ＿２特徴マップを生成させる段階；及び（ｃ）前記学習装置が、（ｉ）プーリングレイヤをもって第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応する領域をプーリングするようにしてプーリングされた特徴マップを生成させ、（ｉｉ）前記プーリングされた特徴マップを特徴分類器に入力し、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整する段階；を含むことを特徴とする学習方法及びこれを利用したテスト方法、そして、これらの方法を遂行する学習装置及びテスト装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の識別問題を解決するために９０年代にすでに使用されていたが、現在のように広く使用されるようになったのは、最近の研究の賜物である。このような、ＤｅｅｐＣＮＮは、２０１２年にＩｍａｇｅＮｅｔイメージ分類コンテスト（ＩｍａｇｅＮｅｔ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。その後、コンボリューションニューラルネットワーク機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
このようなＣＮＮは、イメージから特徴（Ｆｅａｔｕｒｅ）を抽出する特徴抽出器と、特徴抽出器から抽出された特徴を参照してイメージを認識したり、イメージ内の物体を検出する特徴分類器を含み得る。
【０００４】
従来ＣＮＮでは、イメージから特徴を抽出するために、コンボリューションレイヤを含む複数のコンボリューションブロックを使用している。例えば、それぞれのブロックは３ｘ３の大きさのフィルタカーネルを使用してイメージ又はこれに対応する特徴マップに対して３ｘ３コンボリューション演算を適用してイメージから特徴を抽出している。
【０００５】
しかしながら、従来ＣＮＮのコンボルレボリューション演算によって、入力イメージの大きさを（Ｘ、Ｙ）とし、入力イメージのチャンネル数をＺとし、フィルタカーネルの大きさを（Ｍ、Ｍ）とし、フィルターの数をＬとすると、演算量はＸＹＺＭ２Ｌとなり、パラメータの数はＬ（ＺＭ２＋１）個となり、チャンネルの数、フィルターの数、カーネルの大きさなどのような多くの要素によって演算量とパラメータ数が増加する短所がある。これらの演算量の増加により、コンピュータ性能低下を防止するために、入力イメージのサイズに比して縮小された、すなわち、サブサンプリングされた特徴マップが使用され得る。しかし、このようなサブサンプリングにより特徴マップのサイズが縮小されるため、イメージ認識または物体検出のための特徴抽出性能が低下する問題点がある。
【０００６】
したがって、本発明者は、演算量を減らしつつも正確に特徴を抽出する方法を提案することとする。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上述した問題点を全て解決することをその目的とする。
【０００８】
本発明は、ＣＮＮで特徴を抽出するために必要な演算量を減少させることを他の目的とする。
【０００９】
本発明は、演算量を減少させ、特徴抽出性能を向上させることをまた他の目的とする。
【課題を解決するための手段】
【００１０】
前記ような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１１】
本発明の一態様によると、ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出する方法において、（ａ）トレーニングイメージが入力されると、学習装置が、（ｉ）第１ブロックの第１コンボリューションレイヤをもって、前記トレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第１＿２特徴マップを生成させる段階：（ｂ）ｋを２からｎまで増加させながら、前記学習装置が、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第（ｋ−１）ブロックから出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを生成させ、（ｉｉ）前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップないし前記第ｋ＿１特徴マップ又はこれから所定演算により得られた特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第ｋ＿２特徴マップを生成させる段階；及び（ｃ）前記学習装置が、（ｉ）プーリングレイヤをもって第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応する領域をプーリングするようにしてプーリングされた特徴マップを生成させ、（ｉｉ）前記プーリングされた特徴マップを特徴分類器に入力し、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整する段階；を含むことを特徴とする。
【００１２】
一実施例において、前記（ａ）段階で、前記学習装置は、第１バッチ正規化レイヤをもって、前記第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）して第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって（ｉ）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成した後、（ｉｉ）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、前記（ｂ）段階で、前記学習装置は、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第ｋ＿１特徴マップ上の前記特徴値の平均と分散とを利用して、前記第ｋ＿１特徴マップ上の特徴値それぞれを正規化して第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記第１＿１正規化された特徴マップないし前記第ｋ＿１正規化された特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの前記特徴値に対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させて第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００１３】
一実施例において、前記（ａ）段階で、前記学習装置は、（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって前記第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにして第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成させた後、（２）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、前記（ｂ）段階で、前記学習装置は、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第１＿１特徴マップないし前記第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにして第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記第ｋ＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿１非線形特徴マップを生成させた後、（２）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００１４】
一実施例において、前記（ａ）段階で、前記学習装置は、（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記第１＿２特徴マップ上の特徴値の平均と分散とを利用して前記第１＿２特徴マップ上の前記特徴値それぞれを正規化して、第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって（１）前記第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿２非線形特徴マップを生成させた後、（２）前記第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、前記（ｂ）段階で、前記学習装置は、（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記第ｋ＿２特徴マップ上の特徴値の平均と分散とを利用して、前記第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化して第ｋ＿２正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって（１）前記第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿２非線形特徴マップを生成させた後、（２）前記第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする。
【００１５】
一実施例において、前記学習装置は、（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって、前記トレーニングイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする。
【００１６】
一実施例において、前記Ｃは、前記ＭｘＭより小さいことを特徴とする。
【００１７】
本発明の他の態様によると、ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出するテスト方法において、（ａ）学習装置が、（Ｉ）（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて学習用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第１＿２特徴マップを生成させる第１プロセスを遂行し、（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第ｋ−１ブロックから出力される学習用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップに対して１ｘ１コンボリューション演算を適用させて学習用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップないし前記学習用第ｋ＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して学習用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記学習用第ｋ−１合成特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第ｋ＿２特徴マップを生成させる第２プロセスを遂行し、（ＩＩＩ）（ｉ）プーリングレイヤをもって学習用第ｎ＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップ上で学習用ＲＯＩに対応する学習用領域をプーリングするようにして学習用プーリングされた特徴マップを生成させ、（ｉｉ）前記学習用プーリングされた特徴マップを特徴分類器に入力するようにして、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの学習用物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解を参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし前記第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整するようにする第３プロセスを遂行した状態で、テスト装置が、（ｉ）テストイメージを取得し、前記第１ブロックの前記第１コンボリューションレイヤをもって、前記テストイメージに対して１ｘ１コンボリューション演算を適用させてテスト用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの前記第２コンボリューションレイヤをもって、前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第１＿２特徴マップを生成させる段階：（ｂ）ｋを２からｎまで増加させながら、前記テスト装置が、（ｉ）前記第���ブロックの前記第１コンボリューションレイヤをもって、前記第ｋ−１ブロックから出力されるテスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップないし前記テスト用第ｋ＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップのうち少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの前記第２コンボリューションレイヤをもって、前記テスト用第ｋ−１合成特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第ｋ＿２特徴マップを生成させる段階；及び（ｃ）前記テスト装置が、（ｉ）前記プーリングレイヤをもってテスト用第ｎ＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップ上でテスト用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応するテスト用領域をプーリングするようにしてテスト用プーリングされた特徴マップを生成させ、（ｉｉ）前記テスト用プーリングされた特徴マップを前記特徴分類器に入力し、前記特徴分類器をもって前記テストイメージを認識するか又は前記テストイメージ上の少なくとも一つのテスト用物体を検出させる段階；を含むことを特徴とする。
【００１８】
一実施例において、前記（ａ）段階で、前記テスト装置は、第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）してテスト用第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって（ｉ）前記テスト用第１＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成した後、（ｉｉ）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、前記（ｂ）段階で、前記テスト装置は、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第ｋ＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第ｋ＿１特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記テスト用第１＿１正規化された特徴マップないし前記テスト用第ｋ＿１正規化された特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上の前記特徴値それぞれに対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させてテスト用第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００１９】
一実施例において、前記（ａ）段階で、前記テスト装置は、（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって、前記テスト用第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにしてテスト用第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記テスト用第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成させた後、（２）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、前記（ｂ）段階で、前記テスト装置は、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップないし前記テスト用第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにしてテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記テスト用第ｋ＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第ｋ＿１非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００２０】
一実施例において、前記（ａ）段階で、前記テスト装置は、（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記テスト用第１＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿２特徴マップ上のそれぞれの前記特徴値を正規化してテスト用第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって、（１）前記テスト用第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿２非線形特徴マップを生成させた後、（２）前記テスト用第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、前記（ｂ）段階で、前記テスト装置は、（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記テスト用第ｋ＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿２正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって（１）前記テスト用第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第ｋ＿２非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする。
【００２１】
一実施例において、前記テスト装置が、（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって、前記テストイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記テスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする。
【００２２】
一実施例において、前記Ｃは、前記ＭｘＭより小さいことを特徴とする。
【００２３】
本発明のまた他の態様によると、ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出する学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第１＿２特徴マップを生成させるプロセス；（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第ｋ−１ブロックから出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを生成させ、（ｉｉ）前記第１＿１特徴マップ又はこれから所定演算により得られた特徴マップないし前記第ｋ＿１特徴マップ又はこれから所定演算により得られた特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第ｋ＿２特徴マップを生成させるプロセス；及び（ＩＩＩ）（ｉ）プーリングレイヤをもって第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応する領域をプーリングするようにしてプーリングされた特徴マップを生成させ、（ｉｉ）前記プーリングされた特徴マップを特徴分類器に入力し、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整するプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする。
【００２４】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、第１バッチ正規化レイヤをもって、前記第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）して第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって（ｉ）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成した後、（ｉｉ）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力させ、前記（ＩＩ）段階において、前記プロセッサは、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第ｋ＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記第ｋ＿１特徴マップ上の前記特徴値それぞれを正規化して第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記第１＿１正規化された特徴マップないし前記第ｋ＿１正規化された特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの前記特徴値に対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させて第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００２５】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって、前記第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにして第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成させた後、（２）前記第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、前記（ＩＩ）プロセスで、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記第１＿１特徴マップないし前記第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにして第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記第ｋ＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿１非線形特徴マップを生成させた後、（２）前記第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００２６】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記第１＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記第１＿２特徴マップ上の前記特徴値それぞれを正規化して第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって、（１）前記第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第１＿２非線形特徴マップを生成させた後、（２）前記第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記第ｋ＿２特徴マップ上の特徴値の平均と分散とを利用して前記第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化して第ｋ＿２正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって（１）前記第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させて第ｋ＿２非線形特徴マップを生成させた後、（２）前記第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする。
【００２７】
一実施例において、前記プロセッサは、（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって前記トレーニングイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする。
【００２８】
一実施例において、前記Ｃは、前記ＭｘＭより小さいことを特徴とする。
本発明のまた他の態様によると、ＣＮＮで第１ないし第ｎブロックを利用して入力イメージから特徴を抽出するテスト装置において、インストラクションを格納する少なくとも一つのメモリ；及び学習装置が、（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて学習用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２コンボリューションレイヤをもって、前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第１＿２特徴マップを生成させる第１プロセスを遂行し、ｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第ｋ−１ブロックから出力される学習用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップに対して１ｘ１コンボリューション演算を適用させて学習用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップないし前記学習用第ｋ＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して学習用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの第２コンボリューションレイヤをもって、前記学習用第ｋ−１合成特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第ｋ＿２特徴マップを生成させる第２プロセスを遂行し、（ｉ）プーリングレイヤをもって学習用第ｎ＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップ上で学習用ＲＯＩに対応する学習用領域をプーリングするようにして学習用プーリングされた特徴マップを生成させ、（ｉｉ）前記学習用プーリングされた特徴マップを特徴分類器に入力するようにして、前記特徴分類器をもって前記トレーニングイメージを認識するか又は前記トレーニングイメージ上の少なくとも一つの学習用物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、前記特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、前記ロスを利用したバックプロパゲーションを通じて前記第１ブロックの前記第１及び前記第２コンボリューションレイヤないし前記第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整するようにする第３プロセスを遂行した状態で、（Ｉ）（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもってテストイメージに対して１ｘ１コンボリューション演算を適用させてテスト用第１＿１特徴マップを生成させ、（ｉｉ）前記第１ブロックの前記第２コンボリューションレイヤをもって、前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第１＿２特徴マップを生成させるプロセス、（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）前記第ｋブロックの前記第���コンボリューションレイヤをもって、前記第ｋ−１ブロックから出力されるテスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用第ｋ＿１特徴マップを生成させ、（ｉｉ）前記テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップないし前記テスト用第ｋ＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップのうち、少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）前記第ｋブロックの前記第２コンボリューションレイヤをもって、前記テスト用第ｋ−１合成特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第ｋ＿２特徴マップを生成させるプロセス及び（ＩＩＩ）（ｉ）前記プーリングレイヤをもってテスト用第ｎ＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップ上でテスト用ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応するテスト用領域をプーリングするようにしてテスト用プーリングされた特徴マップを生成させ、（ｉｉ）前記テスト用プーリングされた特徴マップを前記特徴分類器に入力し、前記特徴分類器をもって前記テストイメージを認識するか又は前記テストイメージ上の少なくとも一つのテスト用物体を検出するようにするプロセス；を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする。
【００２９】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化（Ｎｏｒｍａｌｉｚｉｎｇ）してテスト用第１＿１正規化された特徴マップを生成させ、前記第１ブロックの第１活性化レイヤ（Ａｃｔｉｖａｔｉｏｎ  Ｌａｙｅｒ）をもって、（ｉ）前記テスト用第１＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成した後、（ｉｉ）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、前記（ＩＩ）段階において、前記プロセッサは、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第ｋ＿１特徴マップ上の特徴値の平均と分散とを利用して前記テスト用第ｋ＿１特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって、前記テスト用第１＿１正規化された特徴マップないし前記テスト用第ｋ＿１正規化された特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上の前記特徴値それぞれに対して非線形演算（Ｎｏｎｌｉｎｅａｒ  Ｏｐｅｒａｔｉｏｎ）を適用させてテスト用第ｋ＿１非線形特徴マップを生成した後、（ｉｉｉ）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００３０】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、（ｉ）前記第１ブロックの第１バッチ正規化レイヤ（Ｆｉｒｓｔ  Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ  Ｌａｙｅｒ）をもって前記テスト用第１＿１特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿１特徴マップ上の前記特徴値それぞれを正規化するようにしてテスト用第１＿１正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第１活性化レイヤをもって（１）前記テスト用第１＿１正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成するようにした後、（２）前記テスト用第１＿１非線形特徴マップを前記第１ブロックの前記第２コンボリューションレイヤに入力するようにし、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第ｋブロックの第１バッチ正規化レイヤをもって、前記テスト用第１＿１特徴マップないし前記テスト用第ｋ＿１特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して生成された前記テスト用第ｋ−１合成特徴マップ上のそれぞれの特徴値を正規化するようにしてテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第１活性化レイヤをもって（１）前記テスト用第ｋ＿１正規化された特徴マップ上の前記特徴値それぞれに対して非線形演算を適用させてテスト用第ｋ＿１非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿１非線形特徴マップを前記第ｋブロックの前記第２コンボリューションレイヤに入力させることを特徴とする。
【００３１】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、（ｉ）前記第１ブロックの第２バッチ正規化レイヤをもって、前記テスト用第１＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第１＿２特徴マップ上のそれぞれの前記特徴値を正規化してテスト用第１＿２正規化された特徴マップを生成させ、（ｉｉ）前記第１ブロックの第２活性化レイヤをもって（１）前記テスト用第１＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第１＿２非線形特徴マップを生成させた後、（２）前記テスト用第１＿２非線形特徴マップを前記第１ブロックから出力されるようにし、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第ｋブロックの第２バッチ正規化レイヤをもって、前記テスト用第ｋ＿２特徴マップ上の前記特徴値の平均と分散とを利用して前記テスト用第ｋ＿２特徴マップ上の前記特徴値それぞれを正規化してテスト用第ｋ＿２正規化された特徴マップを生成させ、（ｉｉ）前記第ｋブロックの第２活性化レイヤをもって（１）前記テスト用第ｋ＿２正規化された特徴マップ上のそれぞれの前記特徴値に対して非線形演算を適用させてテスト用第ｋ＿２非線形特徴マップを生成させた後、（２）前記テスト用第ｋ＿２非線形特徴マップを前記第ｋブロックから出力されるようにすることを特徴とする。
【００３２】
一実施例において、前記プロセッサは、（ｉ）前記第１ブロックの前記第１コンボリューションレイヤをもって、前記テストイメージに対して１ｘ１コンボリューション演算を適用するようにし、（ｉｉ）前記第ｋブロックの前記第１コンボリューションレイヤをもって、前記テスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用特徴次元（Ｆｅａｔｕｒｅ  Ｄｉｍｅｎｓｉｏｎ）をＣ倍だけ増加させるようにすることを特徴とする。
【００３３】
一実施例において、前記Ｃは、前記ＭｘＭより小さいことを特徴とする。
【００３４】
この他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３５】
本発明は、ＣＮＮで特徴を抽出するために必要な演算量を減少させて、コンピュータ速度を増加させることができる効果がある。
また、演算量を減少させ、特徴抽出性能を向上させることができるまた他の効果がある。
【００３６】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明の一実施例によるＣＮＮで複数のブロック内のコンボリューションレイヤを利用してトレーニングイメージから特徴を抽出する学習装置を簡略に示したものである。
【図２】図２は、本発明の一実施例による複数のブロック内のコンボリューションレイヤを利用してトレーニングイメージから特徴を抽出する方法を簡略に示したものである。
【図３ａ】図３ａは、本発明の一実施例による複数のブロック内のコンボリューションレイヤの構成を簡略に示したものである。
【図３ｂ】図３ｂは、本発明の一実施例による複数のブロック内のコンボリューションレイヤの構成を簡略に示したものである。
【図４ａ】図４ａは、本発明の他の実施例による複数のブロック内のコンボリューションレイヤの構成を簡略に示したものである。
【図４ｂ】図４ｂは、本発明の他の実施例による複数のブロック内のコンボリューションレイヤの構成を簡略に示したものである。
【図５】図５は、本発明の他の実施例によるＣＮＮで第１ないし第ｎを利用してテストイメージから特徴を抽出するテスト装置を簡略に示したものである。
【図６】図６は、本発明の他の実施例による複数のブロック内のコンボリューションレイヤを利用してテストイメージから特徴を抽出するテスト方法を簡略に示したものである。
【発明を実施するための形態】
【００３８】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法および長所などを明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【００３９】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４０】
本発明で言及している各種イメージは、舗装又は非舗装図路関連のイメージを含み得、この場合、図路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、図路と関係のないイメージ（例えば、非舗装図路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装図路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４１】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例に関して添付された図面を参照して詳細に説明することにする。
【００４２】
図１は、本発明の一実施例によるＣＮＮで複数のブロック内の第１ないし第ｎコンボリューションレイヤを利用してトレーニングイメージから特徴を抽出する学習装置を簡略に示したものである。図１を参照すると、学習装置１００は通信部１１０とプロセッサ１２０を含むことができる。また、学習装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ１１５をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）に統合され得る。
【００４３】
先ず、通信部１１０はトレーニングイメージを取得することができる。この際、トレーニングイメージはデータベース１３０に格納されていることがあり、データベース１３０にはトレーニングイメージに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）が格納されていることがある。
【００４４】
次に、プロセッサ１２０は（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを生成させ、（ｉｉ）第１ブロックの第２コンボリューションレイヤをもって第１＿１特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて、第１＿２特徴マップを生成させるプロセスを遂行することができる。そして、プロセッサ１２０は（ｉ）第ｋブロックの第１コンボリューションレイヤをもって、第ｋ−１ブロックから出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを生成させ、（ｉｉ）第１＿１特徴マップ又はこれから所定演算により得られた特徴マップないし第ｋ＿１特徴マップ又はこれから所定演算により得られた特徴マップのうち、少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して第ｋ−１合成特徴マップを生成し、（ｉｉｉ）第ｋブロックの第２コンボリューションレイヤをもって第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第ｋ＿２特徴マップを生成させるプロセスを遂行することができる。以後、プロセッサ１２０は（ｉ）プーリングレイヤをもって、第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に対応する領域をプーリングするようにしてプーリングされた特徴マップを生成させ、（ｉｉ）プーリングされた特徴マップを特徴分類器に入力し、特徴分類器をもってトレーニングイメージを認識するか又はトレーニングイメージ上の少なくとも一つの物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって、特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、ロスを利用したバックプロパゲーションを通じて第１ブロックの第１及び第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整するプロセスを遂行することができる。
【００４５】
この際、プロセッサを搭載して演算能力を備えたコンピュータ装置であれば、いくらでも本発明による学習装置１００として採択され得る。また、図１では一つの学習装置１００のみを示したが、これに限定されず、学習装置は複数個に分けて役割を遂行することもできる。
【００４６】
このように構成された本発明の一実施例によるＣＮＮにおいて、第１ないし第ｎブロックを利用してトレーニングイメージから特徴を抽出する方法を図２を参照して説明すると次のとおりである。
【００４７】
まず、トレーニングイメージが入力されると、学習装置１００が、第１ブロックＣ１をもってトレーニングイメージに対してデプスごとの分離可能なコンボリューション演算（Ｄｅｐｔｈｗｉｓｅ  Ｓｅｐａｒａｂｌｅ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｏｐｅｒａｔｉｏｎ）を適用させて第１特徴マップ又はこれから所定演算により得られた特徴マップを出力させる。そして、学習装置１００は、第２ブロックＣ２ないし第ｎブロックＣｎをもって、以前のブロックから出力されるそれぞれに対応する特徴マップ又はこれから所定演算により得られた特徴マップに対して順次にデプスごとの分離可能なコンボリューション演算を適用させて第２特徴マップ又はこれから所定演算により得られた特徴マップないし第ｎ特徴マップ又はこれから所定演算により得られた特徴マップを出力させる。
【００４８】
この際、図３ａと図３ｂを参照して、第１ブロックＣ１ないし第ｎブロックＣｎを利用してトレーニングイメージ又は以前のブロックから出力された前記トレーニングイメージに対応する特徴マップに対して順次にデプスごとの分離可能なコンボリューション演算をそれぞれ適用させるプロセスをもう少し詳しく説明すると次のとおりである。
【００４９】
まず、トレーニングイメージが入力されると、学習装置１００は第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１をもって、トレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを出力させる。この際、１ｘ１コンボリューション演算の演算量は、ＭｘＭコンボリューション演算に比べて１／Ｍ２くらいであるので、特徴抽出性能を向上させるために特徴マップのチャンネルをＣ倍だけ増加させることができる。この際、ＣはＭｘＭであり得る。すなわち、ＭｘＭコンボリューションに比べて同一のコンピュータ性能でＣ倍だけ増加した特徴次元（Ｄｉｍｅｎｓｉｏｎ）が利用され得るようになる。そして、学習装置１００は、第１ブロックＣ１の第２コンボリューションレイヤＣ１＿４をもって第１＿１特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第１＿２特徴マップを出力させる。
この際、学習装置１００は、（ｉ）第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１をもって、トレーニングイメージに対して１ｘ１コンボリューション演算を適用させて第１＿１特徴マップを出力するようにし、（ｉｉ）第１ブロックＣ１の第１バッチ正規化レイヤＣ１＿２をもって、第１＿１特徴マップ上のそれぞれの特徴値を第１＿１特徴マップ上の特徴値の平均と分散とを利用して正規化するようにして第１＿１正規化された特徴マップを生成させることができる。そして、正規化された特徴マップは次の式１のように示すことができ、γとβは学習可能なパラメータであり、
【数１】
2020119524.tif 000003
は、バッチをその平均と分散とを利用して正規化して生成された値である。
【００５０】
【数２】
2020119524.tif 000004
【００５１】
そして、学習装置１００は、第１ブロックＣ１の第１活性化レイヤＣ１＿３をもって（ｉ）第１＿１正規化された特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させて第１＿１非線形特徴マップを生成した後、（ｉｉ）第１＿１非線形特徴マップを第１ブロックＣ１の第２コンボリューションレイヤＣ１＿４に入力させる。この際、非線形演算はＲｅＬＵであり得るが、これに限定されるわけではない。
【００５２】
また、学習装置１００は、第１ブロックＣ１の第２コンボリューションレイヤＣ１＿４をもって第１＿１特徴マップ又は第１＿１非線形特徴マップに対してＭｘＭコンボリューション演算を適用させて第１＿２特徴マップを出力するようにし、第１ブロックＣ１の第２バッチ正規化レイヤＣ１＿５をもって第１＿２特徴マップ上のそれぞれの特徴値を第１＿２特徴マップ上の特徴値の平均と分散とを利用して正規化するようにして、式１に従って第１＿２正規化された特徴マップを生成させる。そして、学習装置１００は、第１ブロックＣ１の第２活性化レイヤＣ１＿６をもって（１）第１＿２正規化された特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させて第１＿２非線形特徴マップを生成させた後、（２）第１＿２非線形特徴マップが第１ブロックＣ１から出力されるようにすることができる。
【００５３】
次に、学習装置１００はｋを２からｎまで増加させながら、（ｉ）第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１をもって、第ｋ−１ブロックＣ（ｋ−１）から出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを出力するようにし、（ｉｉ）第１＿１特徴マップ又はこれから所定演算により得られた特徴マップないし第ｋ＿１特徴マップ又はこれから所定演算により得られた特徴マップのうち少なくとも一部を要素ごとに合算（Ｅｌｅｍｅｎｔｗｉｓｅ  Ａｄｄｉｎｇ）して第ｋ−１合成特徴マップを生成し、（ｉｉｉ）第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４をもって、第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第ｋ＿２特徴マップを出力させることができる。
【００５４】
この際、学習装置１００は、（ｉ）第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１をもって、第ｋ−１ブロックＣ（ｋ−１）から出力される第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた特徴マップに対して１ｘ１コンボリューション演算を適用させて第ｋ＿１特徴マップを出力するようにし、（ｉｉ）第ｋブロックＣｋの第１バッチ正規化レイヤＣｋ＿２をもって、第ｋ＿１特徴マップ上のそれぞれの特徴値を第ｋ＿１特徴マップ上の特徴値の平均と分散とを利用して正規化して第ｋ＿１正規化された特徴マップを生成させる。そして、学習装置１００は、（ｉ）第ｋブロックＣｋの第１活性化レイヤＣｋ＿３をもって第１＿１正規化された特徴マップないし第ｋ＿１正規化された特徴マップのうち、少なくとも一部を要素ごとに合算して生成された第ｋ−１合成特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させて第ｋ＿１非線形特徴マップを生成させた後、（ｉｉ）第ｋ＿１非線形特徴マップを第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４に入力することができる。
【００５５】
また、学習装置１００は、（ｉ）第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４をもって、第ｋ−１合成特徴マップ又はこれから所定演算により得られた特徴マップに対してＭｘＭコンボリューション演算を適用させて第ｋ＿２特徴マップを出力するようにし、（ｉｉ）第ｋブロックＣｋの第２バッチ正規化レイヤＣｋ＿５をもって第ｋ＿２特徴マップ上のそれぞれの特徴値を第ｋ＿２特徴マップ上の特徴値の平均と分散とを利用して正規化するようにして、式１に従って第ｋ＿２正規化された特徴マップを生成させる。そして、学習装置１００は第ｋブロックＣｋの第２活性化レイヤＣｋ＿６をもって（１）第ｋ＿２正規化された特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させて第ｋ＿２非線形特徴マップを生成させた後、（２）第ｋ＿２非線形特徴マップが第ｋブロックＣｋから出力されるようにすることができる。
【００５６】
そして、前記では第１＿１正規化された特徴マップないし第ｋ＿１正規化された特徴マップのうち少なくとも一部を要素ごとに合算して第ｋ−１合成特徴マップを生成した後、第ｋブロックＣｋの第１活性化レイヤＣｋ＿３に対して非線形演算を適用するようにしたと説明されている。他の例として、第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１から出力される第１＿１特徴マップないし第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１から出力される第ｋ＿１特徴マップのうち、少なくとも一部を要素ごとに合算して第ｋ−１合成特徴マップを生成することもできる。
【００５７】
つまり、図４ａと図４ｂを参照すると、第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１から出力される第１＿１特徴マップないし第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１から出力される第ｋ＿１特徴マップのうち、少なくとも一部を要素ごとに合算して第ｋ−１合成特徴マップを生成することができる。そして第ｋブロックＣｋの第１バッチ正規化レイヤＣｋ＿２をもって、第ｋ−１合成特徴マップ上のそれぞれの特徴値を第ｋ−１合成特徴マップ上の特徴値の平均と分散とを利用して正規化するようにして第ｋ＿１正規化された特徴マップを生成させる。第ｋブロックＣｋの第１活性化レイヤＣｋ＿３をもって、第ｋ＿１正規化された特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させて第ｋ＿１非線形特徴マップを出力するようにした後、第ｋ＿１非線形特徴マップを第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４に入力させる。
【００５８】
再び図２を参照すると、学習装置１００は、（ｉ）プーリングレイヤ１２２をもって、第ｎブロックＣｎから出力される第ｎ＿２特徴マップ又はこれから所定演算により得られた特徴マップ上でＲＯＩに対応する領域をプーリングするようにしてプーリングされた特徴マップを生成させ、（ｉｉ）プーリングされた特徴マップを特徴分類器１２３に入力して特徴分類器１２３をもってトレーニングイメージを認識するようにするか又はトレーニングイメージ上の物体を検出させることができる。
【００５９】
そして、学習装置１００は、ロスレイヤ１２４をもって特徴分類器１２３の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、ロスを利用したバックプロパゲーションを通じて第１ブロックＣ１の第１及び第２コンボリューションレイヤＣ１＿４ないし第ｎブロックＣｎの第１及び第２コンボリューションレイヤＣｎ＿４のうち少なくとも一部の少なくとも一つのパラメータを調整することができる。
【００６０】
図５は、本発明の一実施例によるＣＮＮで第１ないし第ｎブロックを利用してテストイメージから特徴を抽出するテスト装置を簡略に示したものであって、図５を参照すると、テスト装置２００は通信部２１０とプロセッサ２２０とを含むことができる。また、テスト装置は、次のプロセスを遂行するためのコンピュータ読取り可能なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができるメモリ（２１５）をさらに含むことができる。一実施例によると、プロセッサ、メモリ、媒体等は統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）として統合され得る。
【００６１】
先ず、通信部２１０はテストイメージを取得することができる。
【００６２】
この際、学習装置によって第１ブロックの第１及び第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一つのパラメータが調整された状態であり得る。
【００６３】
参考までに、以下の説明において混同を防止するために、学習プロセスに関する用語には「学習用」という文言が追加されており、テストプロセスに関する用語には「テスト用」という文言が追加された。
【００６４】
つまり、図４ａと４ｂを参照して説明したように、トレーニングイメージが入力されると、（Ｉ）学習装置は、（ｉ）第１ブロックの第１コンボリューションレイヤをもってトレーニングイメージに対して１ｘ１コンボリューション演算を適用させて学習用第１＿１特徴マップを出力するようにし、（ｉｉ）第１ブロックの第２コンボリューションレイヤをもって学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第１＿２特徴マップを出力するようにし、（ＩＩ）学習装置は、ｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもって第ｋ−１ブロックから出力される学習用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップに対して１ｘ１コンボリューション演算を適用させて学習用第ｋ＿１特徴マップを出力するようにし、（ｉｉ）学習用第１＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップないし学習用第ｋ＿１特徴マップ又はこれから所定演算により得られた学習用特徴マップのうち少なくとも一部を要素ごとに合算して学習用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）第ｋブロックの第２コンボリューションレイヤをもって学習用第ｋ−１合成特徴マップ又はこれから所定演算により得られた学習用特徴マップに対してＭｘＭコンボリューション演算を適用させて学習用第ｋ＿２特徴マップを出力するようにし、（ＩＩＩ）学習装置は、（ｉ）プーリングレイヤをもって学習用第ｎ＿２特徴マップ又はこれから所定演算により得られた学習用特徴マップ上で学習用ＲＯＩに対応する領域をプーリングするようにして学習用プーリングされた特徴マップを生成させ、（ｉｉ）学習用プーリングされた特徴マップを特徴分類器に入力するようにして、特徴分類器をもってトレーニングイメージを認識するようにするか又はトレーニングイメージ上の学習用物体を検出するようにし、（ｉｉｉ）ロスレイヤをもって特徴分類器の出力値とこれに対応する原本正解とを参照して少なくとも一つのロスを算出させることで、ロスを利用したバックプロパゲーションを通じて第１ブロックの第１及び第２コンボリューションレイヤないし第ｎブロックの第１及び第２コンボリューションレイヤのうち少なくとも一部の少なくとも一つのパラメータを調整した状態であり得る。
【００６５】
この状態でプロセッサ２２０は、（ｉ）第１ブロックの第１コンボリューションレイヤをもってテストイメージに対して１ｘ１コンボリューション演算を適用させてテスト用第１＿１特徴マップを出力するようにし、（ｉｉ）第１ブロックの第２コンボリューションレイヤをもってテスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第１＿２特徴マップを出力させるプロセスを遂行することができる。そして、プロセッサ２２０はｋを２からｎまで増加させながら、（ｉ）第ｋブロックの第１コンボリューションレイヤをもってテスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用第ｋ＿１特徴マップを出力するようにし、（ｉｉ）テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップないしテスト用第ｋ＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップのうち少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）第ｋブロックの第２コンボリューションレイヤをもってテスト用第ｋ−１合成特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第ｋ＿２特徴マップを出力させるプロセスを遂行することができる。
【００６６】
また、プロセッサ２２０は、（ｉ）プーリングレイヤをもってテスト用第ｎ＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップ上でテスト用ＲＯＩに対応する領域をプーリングするようにしてテスト用プーリングされた特徴マップを生成させ、（ｉｉ）テスト用プーリングされた特徴マップを特徴分類器２２３に入力して特徴分類器をもってテストイメージを認識するか又はテストイメージ上のテスト用物体を検出するようにするプロセスを遂行する。
【００６７】
この際、プロセッサを搭載して演算能力を備えたコンピュータ装置であれば、いくらでも本発明によるテスト装置２００として採択され得る。また、図５では一つのテスト装置２００のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。
【００６８】
ＣＮＮで複数のブロック内の第１ないし第ｎコンボリューションレイヤを利用してテストイメージから特徴を抽出する方法を、図６を参照して説明すると次のとおりである。以下の説明で、図２ないし図４ａと図４ｂを参照して説明した学習方法から容易に理解可能な部分については詳細な説明を省略することとする。
【００６９】
先ず、図２ないし図４ａと４ｂとを参照して説明したとおり、第１ブロックＣ１の第１及び第２コンボリューションレイヤ（Ｃ１＿１およびＣ１＿４）ないし第ｎブロックＣｎの第１及び第２コンボリューションレイヤ（Ｃｎ＿１およびＣｎ＿４）のうち少なくとも一部の少なくとも一つのパラメータが修正された状態でテストイメージが入力されると、テスト装置２００が、第１ブロックＣ１をもってテストイメージに対してデプスごとの分離可能なコンボリューション演算を適用させて第１テスト用特徴マップを出力させる。
【００７０】
テスト装置２００が、第２ブロックＣ２ないし第ｎブロックＣｎをもって、以前のブロックから出力されるテスト用特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して順次にデプスごとの分離可能なコンボリューション演算を適用させてテスト用第２特徴マップ又はこれから所定演算により得られたテスト用特徴マップないしテスト用第ｎ特徴マップ又はこれから所定演算により得られたテスト用特徴マップを生成させる。
【００７１】
この際、テスト装置２００は、図３ａと図３ｂを参照して説明したとおり、（ｉ）第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１をもってテストイメージに対して１ｘ１コンボリューション演算を適用させてテスト用第１＿１特徴マップを生成させ、（ｉｉ）第１ブロックＣ１の第２コンボリューションレイヤＣ１＿４をもってテスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第１＿２特徴マップを生成させる。
【００７２】
つまり、テスト装置２００は、（ｉ）第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１をもってテストイメージに対して１ｘ１コンボリューション演算を適用させてテスト用第１＿１特徴マップを生成させ、（ｉｉ）第１ブロックＣ１の第１バッチ正規化レイヤＣ１＿２をもってテスト用第１＿１特徴マップ上のそれぞれの特徴値をテスト用第１＿１特徴マップ上の特徴値の平均と分散とを利用して正規化するようにして、テスト用第１＿１正規化された特徴マップを生成させることができる。そして、テスト装置２００は、第１ブロックＣ１の第１活性化レイヤＣ１＿３をもって（ｉ）テスト用第１＿１正規化された特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させてテスト用第１＿１非線形特徴マップを生成した後、（ｉｉ）テスト用第１＿１非線形特徴マップを第１ブロックＣ１の第２コンボリューションレイヤＣ１＿４に入力させる。また、テスト装置２００は、（ｉ）第１ブロックＣ１の第２コンボリューションレイヤＣ１＿４をもってテスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第１＿２特徴マップを生成させ、（ｉｉ）第１ブロックＣ１の第２バッチ正規化レイヤＣ１＿５をもって、テスト用第１＿２特徴マップ上のそれぞれの特徴値をテスト用第１＿２特徴マップ上の特徴値の平均と分散とを利用して正規化するようにして、テスト用第１＿２正規化された特徴マップを生成させる。そして、テスト装置２００は、第１ブロックＣ１の第２活性化レイヤＣ１＿６をもって（１）テスト用第１＿２正規化された特徴マップ上のそれぞれの特徴値に非線形演算を適用させてテスト用第１＿２非線形特徴マップを生成させた後、（２）テスト用第１＿２非線形特徴マップが第１ブロックＣ１から出力されるようにすることができる。
【００７３】
以後、テスト装置２００は、ｋを２からｎまで増加させながら、（ｉ）第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１をもって、第ｋ−１ブロックＣ（ｋ−１）から出力されるテスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用第ｋ＿１特徴マップを生成させ、（ｉｉ）テスト用第１＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップないしテスト用第ｋ＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップのうち少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成し、（ｉｉｉ）第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４をもってテスト用第（ｋ−１）合成特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させて、テスト用第ｋ＿２特徴マップを生成させることができる。
【００７４】
この際、テスト装置２００は、（ｉ）第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１をもって、第ｋ−１ブロックＣ（ｋ−１）から出力されるテスト用第（ｋ−１）＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対して１ｘ１コンボリューション演算を適用させてテスト用第ｋ＿１特徴マップを生成させ、（ｉｉ）第ｋブロックＣｋの第１バッチ正規化レイヤＣｋ＿２をもってテスト用第ｋ＿１特徴マップ上のそれぞれの特徴値をテスト用第ｋ＿１特徴マップ上の特徴値の平均と分散とを利用して正規化するようにしてテスト用第ｋ＿１正規化された特徴マップを生成させる。そして、テスト装置２００は、（ｉ）テスト用第１＿１正規化された特徴マップないしテスト用第ｋ＿１正規化された特徴マップのうち少なくとも一部を要素ごとに合算して生成されたテスト用第ｋ−１合成特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させてテスト用第ｋ＿１非線形特徴マップを生成した後、（ｉｉ）テスト用第ｋ＿１非線形特徴マップを第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４に入力させる。
【００７５】
また、テスト装置２００は、（ｉ）第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４をもってテスト用第ｋ＿１特徴マップ又はこれから所定演算により得られたテスト用特徴マップに対してＭｘＭコンボリューション演算を適用させてテスト用第ｋ＿２特徴マップを生成させ、（ｉｉ）第ｋブロックＣｋの第２バッチ正規化レイヤＣｋ＿５をもってテスト用第ｋ＿２特徴マップ上のそれぞれの特徴値をテスト用第ｋ＿２特徴マップ上の特徴値の平均と分散とを利用して正規化するようにしてテスト用第ｋ＿２正規化された特徴マップを生成させる。そして、テスト装置２００は、第ｋブロックＣｋの第２活性化レイヤＣｋ＿６をもって（１）テスト用第ｋ＿２正規化された特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させてテスト用第ｋ＿２非線形特徴マップを生成させた後、（２）テスト用第ｋ＿２非線形特徴マップが第ｋブロックＣｋから出力されるようにする。
【００７６】
そして、前記においては第１バッチ正規化レイヤＣ１＿２で正規化されたテスト用第１＿１正規化された特徴マップないし第１バッチ正規化レイヤＣｋ＿２で正規化されたテスト用第ｋ＿１正規化された特徴マップのうち少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成した後、第ｋブロックＣｋの第１活性化レイヤＣｋ＿３をもって非線形演算を適用させる。
【００７７】
しかし、第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１から出力されるテスト用第１＿１特徴マップないし第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１から出力されるテスト用第ｋ＿１特徴マップのうち、少なくとも一部を要素ごとに合算してテスト用第ｋ−１合成特徴マップを生成することもできる。
【００７８】
つまり、図４ａと図４ｂを参照して説明したように、（ｉ）第１ブロックＣ１の第１コンボリューションレイヤＣ１＿１から出力されるテスト用第１＿１特徴マップないし第ｋブロックＣｋの第１コンボリューションレイヤＣｋ＿１から出力されるテスト用第ｋ＿１特徴マップのうち少なくとも一部を要素ごとに合算して生成されたテスト用第ｋ−１合成特徴マップを生成し、（ｉｉ）第ｋブロックＣｋの第１バッチ正規化レイヤＣｋ＿２をもってテスト用第ｋ−１合成特徴マップ上のそれぞれの特徴値をテスト用第ｋ−１合成特徴マップ上の特徴値の平均と分散とを利用して正規化するようにしてテスト用第ｋ＿１正規化された特徴マップを生成させ、（ｉｉｉ）第ｋブロックＣｋの第１活性化レイヤ（Ｃｋ＿３）をもって（１）テスト用第ｋ＿１正規化された特徴マップ上のそれぞれの特徴値に対して非線形演算を適用させてテスト用第ｋ＿１非線形特徴マップを出力するようにした後、（２）テスト用第ｋ＿１非線形特徴マップを第ｋブロックＣｋの第２コンボリューションレイヤＣｋ＿４に入力させることができる。
【００７９】
再び、図６を参照すると、テスト装置２００は、（ｉ）プーリングレイヤ２２２をもってテスト用第ｎ＿２特徴マップ又はこれから所定演算により得られたテスト用特徴マップ上でこれに対応する領域をプーリングするようにしてテスト用プーリングされた特徴マップを生成させ、（ｉｉ）テスト用プーリングされた特徴マップを特徴分類器２２３に入力するようにして、特徴分類器２２３をもってテストイメージを認識するようにするか又はテストイメージ上のテスト用物体を検出させることができる。
【００８０】
本発明による学習方法及びテスト方法を通じたハードウェア最適化は、ＣＮＮの処理量を向上させ、核心性能指数（Ｋｅｙ  Ｐｅｒｆｏｒｍａｎｃｅ  Ｉｎｄｅｘ；ＫＰＩ）を満たすことができる。したがって、学習方法及びテスト方法は、小型ネットワーク、モバイル装置等に適合して使用することができる。
【００８１】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００８２】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【００８３】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等又は等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【符号の説明】
【００８４】
１００、２００：コンピュータ装置
１１０、２１０：通信部
１２０、２２０：プロセッサ
２３０：データベース
【図１】
2020119524.tif 000005
【図２】
2020119524.tif 000006
【図３ａ】
2020119524.tif 000007
【図３ｂ】
2020119524.tif 000008
【図４ａ】
2020119524.tif 000009
【図４ｂ】
2020119524.tif 000010
【図５】
2020119524.tif 000011
【図６】
2020119524.tif 000012