(57)【要約】      （修正有）【課題】マスキングパラメータを利用して関心領域（ＲＯＩ）をプーリングする方法を提供する。【解決手段】方法は、入力イメージが取得されると、コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、入力イメージに対応する特徴マップを生成する段階と、ＣＮＮのＲＰＮをもって、特徴マップを用いて入力イメージに含まれる少なくとも一つの物体に対応するＲＯＩを決定する段階と、ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応するマスキングパラメータそれぞれを参照し、ＲＯＩ内にあるサブ領域それぞれにプーリング演算をそれぞれ適用して、マスキングされたプーリング済み特徴マップを生成する段階と、を含む。【選択図】図２
2020119529.tif 000002
【特許請求の範囲】
【請求項１】
一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングする方法において、
（ａ）入力イメージが取得されると、コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、前記入力イメージに対応する特徴マップを生成するようにする段階；
（ｂ）前記コンピューティング装置が、前記ＣＮＮのＲＰＮをもって、前記特徴マップを用いて前記入力イメージに含まれる少なくとも一つの物体に対応するＲＯＩを決定するようにする段階；
（ｃ）前記コンピューティング装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、マスキングされたプーリング済み特徴マップを生成するようにする段階；
を含むことを特徴とする学習方法。
【請求項２】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ｃ）段階は、
前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにすることを特徴とする請求項１に記載の学習方法。
【請求項３】
前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応される位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とする請求項２に記載の学習方法。
【請求項４】
（ｄ）前記コンピューティング装置が、前記ＣＮＮの出力レイヤをもって、前記マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、ＣＮＮ出力値を生成するようにする段階；及び
（ｅ）前記コンピューティング装置が、前記ＣＮＮのロスレイヤをもって、前記ＣＮＮの出力値及びこれに対応するＧＴを参照にして、ロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習する段階；
をさらに含むことを特徴とする請求項１に記載の学習方法。
【請求項５】
前記（ｅ）段階は、
前記コンピューティング装置が、前記ロス値をバックプロパゲーションすることにより、前記コンボリューションレイヤ及び前記出力レイヤに含まれたパラメータの少なくとも一部をさらに学習することを特徴とする請求項４に記載の学習方法。
【請求項６】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ｃ）段階は、
前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、
前記（ｃ）段階は、
前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、  
前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項１に記載の学習方法。
【請求項７】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ｃ）段階は、
前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、 
前記（ｃ）段階は、 
前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、 
前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに最も大きい値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項１に記載の学習方法。
【請求項８】
一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングするテスト方法において、
（ａ）（１）コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、トレーニングイメージに対応するトレーニング用特徴マップを生成するようにする段階；（２）前記コンピューティング装置が、前記ＣＮＮのＲＰＮをもって、前記トレーニング用特徴マップを用いて前記トレーニングイメージに含まれた少なくとも一つのトレーニング用物体に対応するトレーニング用ＲＯＩを決定するようにする段階；（３）前記コンピューティング装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記トレーニング用ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、トレーニング用マスキングされたプーリング済み特徴マップを生成するようにする段階；（４）前記コンピューティング装置が、前記ＣＮＮの出力レイヤをもって、前記トレーニング用マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、トレーニング用ＣＮＮ出力値を生成するようにする段階；及び（５）前記コンピューティング装置が、前記ＣＮＮのロスレイヤをもって、前記トレーニング用ＣＮＮ出力値及びこれに対応するＧＴを参照にして、ロス値を生成するようにし、前記ロス値をバックプロパゲーションすることで、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習する段階；を経て学習が完了した状態で、前記テスト装置が、テストイメージを取得すると、前記ＣＮＮの前記コンボリューションレイヤをもって、前記テストイメージに対応するテスト用特徴マップを生成するようにする段階； 
（ｂ）前記テスト装置が、前記ＣＮＮのＲＰＮをもって、前記テスト用特徴マップを用いて前記テストイメージに含まれる少なくとも一つのテスト用物体に対応するテスト用ＲＯＩを決定するようにする段階； 
（ｃ）前記テスト装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、前記プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にし、前記テスト用ＲＯＩ内にあるテスト用サブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、テスト用マスキングされたプーリング済み特徴マップを生成するようにする段階；
（ｄ）前記テスト装置が、前記ＣＮＮの出力レイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップに前記ニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、テスト用ＣＮＮ出力値を生成するようにする段階；
を含むことを特徴とするテスト方法。
【請求項９】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、 
前記（ｃ）段階は、
前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにすることを特徴とする請求項８に記載のテスト方法。
【請求項１０】
前記マスキングパラメータの中で、特定マスキングパラメータが前記１値である場合、前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応する位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とする請求項９に記載のテスト方法。
【請求項１１】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ｃ）段階は、
前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、 
前記（ｃ）段階は、 
前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、 
前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項８に記載のテスト方法。
【請求項１２】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ｃ）段階は、
前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、 
前記（ｃ）段階は、 
前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、
前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに最も大きい値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項８に記載のテスト方法。
【請求項１３】
一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングするコンピューティング装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）ＣＮＮのコンボリューションレイヤをもって、前記入力イメージに対応する特徴マップを生成するようにするプロセス；（ＩＩ）前記ＣＮＮのＲＰＮをもって、前記特徴マップを用いて前記入力イメージに含まれた少なくとも一つの物体に対応するＲＯＩを決定するようにするプロセス；（ＩＩＩ）前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、マスキングされたプーリング済み特徴マップを生成させるプロセス；を遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするコンピューティング装置。
【請求項１４】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、 
前記（ＩＩＩ）プロセスは、
前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにすることを特徴とする請求項１３に記載のコンピューティング装置。
【請求項１５】
前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応する位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とする請求項１４に記載のコンピューティング装置。
【請求項１６】
前記プロセッサが、
（ＩＶ）前記ＣＮＮの出力レイヤをもって、前記マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、ＣＮＮ出力値を生成するようにするプロセス；及び（Ｖ）前記ＣＮＮのロスレイヤをもって、前記ＣＮＮの出力値及びこれに対応するＧＴを参照にして、ロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習するプロセス；
をさらに遂行することを特徴とする請求項１３に記載のコンピューティング装置。
【請求項１７】
前記（Ｖ）プロセスは、
前記プロセッサが、前記ロス値をバックプロパゲーションすることにより、前記コンボリューションレイヤ及び前記出力レイヤに含まれたパラメータの少なくとも一部をさらに学習することを特徴とする請求項１６に記載のコンピューティング装置。
【請求項１８】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、
前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項１３に記載のコンピューティング装置。
【請求項１９】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、
前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに最も大きい値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項１３に記載のコンピューティング装置。
【請求項２０】
一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングするテスト装置において、
各インストラクションを格納する少なくとも一つのメモリ；及び 
（１）コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、前記トレーニングイメージに対応するトレーニング用特徴マップを生成するようにする段階；（２）前記コンピューティング装置が、前記ＣＮＮのＲＰＮをもって、前記トレーニング用特徴マップを用いて前記トレーニングイメージに含まれた少なくとも一つのトレーニング用物体に対応するトレーニング用ＲＯＩを決定するようにする段階；（３）前記コンピューティング装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記トレーニング用ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、トレーニング用マスキングされたプーリング済み特徴マップを生成するようにする段階；（４）前記コンピューティング装置が、前記ＣＮＮの出力レイヤをもって、前記トレーニング用マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、トレーニング用ＣＮＮ出力値を生成するようにする段階；及び（５）前記コンピューティング装置が、前記ＣＮＮのロスレイヤをもって、前記トレーニング用ＣＮＮの出力値及びこれに対応するＧＴを参照にしてロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習する段階；を経て学習が完了された状態で、（Ｉ）前記ＣＮＮのコンボリューションレイヤをもって、テストイメージに対応するテスト用特徴マップを生成するようにするプロセス；（ＩＩ）前記ＣＮＮの前記ＲＰＮをもって、前記テスト用特徴マップを用いて前記テストイメージに含まれる少なくとも一つのテスト用物体に対応するテスト用ＲＯＩを決定するようにするプロセス；（ＩＩＩ）前記ＣＮＮの前記ＲＯＩプーリングレイヤをもって、前記プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にし、前記テスト用ＲＯＩ内にあるテスト用サブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、テスト用マスキングされたプーリング済み特徴マップを生成するようにするプロセス；（ＩＶ）前記ＣＮＮの出力レイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップに前記ニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、テスト用ＣＮＮ出力値を生成するようにするプロセス；を遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするテスト装置。
【請求項２１】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、 
前記（ＩＩＩ）プロセスは、
前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにすることを特徴とする請求項２０に記載のテスト装置。
【請求項２２】
前記マスキングパラメータの中で、特定マスキングパラメータが前記１値である場合、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応する位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とする請求項２１に記載のテスト装置。
【請求項２３】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、 
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、 
前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項２０に記載のテスト装置。
【請求項２４】
前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、
前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、
前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに最も大きい値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とする請求項２０に記載のテスト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングする方法において、（ａ）入力イメージが取得されると、コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、前記入力イメージに対応する特徴マップを生成するようにする段階；（ｂ）前記コンピューティング装置が、前記ＣＮＮのＲＰＮをもって、前記特徴マップを用いて前記入力イメージに含まれる少なくとも一つの物体に対応するＲＯＩを決定するようにする段階；（ｃ）前記コンピューティング装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にし、前記ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、マスキングされたプーリング済み特徴マップを生成するようにする段階； を含むことを特徴とする学習方法及び装置、そしてこれを利用したテスト方法及びテスト装置に関する。
【背景技術】
【０００２】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは文字の認識問題を解決するために９０年代にも利用されたが、近年になって機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で広く利用されるようになった。例えば、ＣＮＮは２０１２年にイメージ認識コンテスト（ＩｍａｇｅＮｅｔ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｃｈａｌｌｅｎｇｅ）で他の競争相手に勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。
【０００３】
一方、ＲＯＩプーリングは、サブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに対応する代表特徴値それぞれを利用してプーリングする方法であり、サブ領域それぞれは少なくとも一つのＲＯＩ、すなわち関心領域（Ｒｅｇｉｏｎ−ｏｆ−Ｉｎｔｅｒｅｓｔ）に含まれる。関心領域は、入力イメージの少なくとも一つの重要な部分、つまり、少なくとも一つのターゲット物体が位置する少なくともひとつの部分である。ＲＯＩプーリングは機械学習で広く利用され、計算負荷を減らし得る。
【０００４】
従来のＲＯＩプーリング方法によれば、入力イメージに含まれている物体に対応するＲＯＩがＲＰＮによって決定される状態で、ＲＯＩの各サブ領域にプーリング演算が適用される。プーリング演算によって、ＲＯＩのそれぞれのサブ領域に対応するそれぞれの代表特徴値が計算される。ここで、サブ領域ごとの代表特徴値は、それぞれのサブ領域ごとにそれぞれの特徴値の平均を利用するか、それぞれのサブ領域ごとにそれぞれの特徴値の中の最も大きな値を利用して生成される。
【０００５】
図４は、従来のＲＯＩプーリング方法によってＲＯＩプーリングのための代表的な特徴値を生成するプロセスを示した図面である。
【０００６】
図４を参照すれば、各サブ領域ごとにこれに対応するすべての特徴の値がそれぞれの代表特徴値を生成するのに利用されたことがわかる。
しかし、従来のＲＯＩプーリング方法は、ＲＯＩのサブ領域が長方形であるが、任意の入力イメージに含まれた任意の物体の形は、一般的に長方形ではないため、必要以上にメモリアクセスをすることになるという重要な問題がある。従って、サブ領域には含まれるが、入力イメージの物体には含まれない不必要なピクセルがあり得る。不必要なピクセルに対するこのような非効率的で必要でないアクセスは、プーリング結果に歪みが生じたり、学習速度を低下させる恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前述した問題点を解決することを目的とする。
【０００８】
本発明は、ＲＯＩに含まれる特徴値に対応するマスキングパラメータを参照にして、最適化されたメモリアクセスのためのＲＯＩプーリング方法を提供することを他の目的とする。
【課題を解決するための手段】
【０００９】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【００１０】
本発明の一態様によれば、一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングする方法において、（ａ）入力イメージが取得されると、コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、前記入力イメージに対応する特徴マップを生成するようにする段階；（ｂ）前記コンピューティング装置が、前記ＣＮＮのＲＰＮをもって、前記特徴マップを用いて前記入力イメージに含まれる少なくとも一つの物体に対応するＲＯＩを決定するようにする段階；（ｃ）前記コンピューティング装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、マスキングされたプーリング済み特徴マップを生成するようにする段階；を含むことを特徴とする学習方法が提供される。
【００１１】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ｃ）段階は、前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにする学習方法が提供される。
【００１２】
一例として、前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応される位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とする学習方法が提供される。
【００１３】
一例として、（ｄ）前記コンピューティング装置が、前記ＣＮＮの出力レイヤをもって、前記マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｏｐｅｒａｔｉｏｎｓ）を適用して、ＣＮＮ出力値を生成するようにする段階；及び（ｅ）前記コンピューティング装置が、前記ＣＮＮのロスレイヤをもって、前記ＣＮＮの出力値及びこれに対応するＧＴを参照にして、ロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習する段階；をさらに含むことを特徴とする学習方法が提供される。
【００１４】
一例として、前記（ｅ）段階は、前記コンピューティング装置が、前記ロス値をバックプロパゲーションすることにより、前記コンボリューションレイヤ及び前記出力レイヤに含まれたパラメータの少なくとも一部をさらに学習することを特徴とする学習方法が提供される。
【００１５】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ｃ）段階は、前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、前記（ｃ）段階は、前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とする学習方法が提供される。
【００１６】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ｃ）段階は、前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、前記（ｃ）段階は、前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに最も大きい値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とする学習方法が提供される。
【００１７】
本発明の他の態様によれば、一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングするテスト方法において、（ａ）（１）コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、トレーニングイメージに対応するトレーニング用特徴マップを生成するようにする段階；（２）前記コンピューティング装置が、前記ＣＮＮのＲＰＮをもって、前記トレーニング用特徴マップを用いて前記トレーニングイメージに含まれた少なくとも一つのトレーニング用物体に対応するトレーニング用ＲＯＩを決定するようにする段階；（３）前記コンピューティング装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記トレーニング用ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、トレーニング用マスキングされたプーリング済み特徴マップを生成するようにする段階；（４）前記コンピューティング装置が、前記ＣＮＮの出力レイヤをもって、前記トレーニング用マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｏｐｅｒａｔｉｏｎｓ）を適用して、トレーニング用ＣＮＮ出力値を生成するようにする段階；及び（５）前記コンピューティング装置が、前記ＣＮＮのロスレイヤをもって、前記トレーニング用ＣＮＮ出力値及びこれに対応するＧＴを参照にして、ロス値を生成するようにし、前記ロス値をバックプロパゲーションすることで、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習する段階；を経て学習が完了した状態で、前記テスト装置が、テストイメージを取得すると、前記ＣＮＮの前記コンボリューションレイヤをもって、前記テストイメージに対応するテスト用特徴マップを生成するようにする段階；（ｂ）前記テスト装置が、前記ＣＮＮのＲＰＮをもって、前記テスト用特徴マップを用いて前記テストイメージに含まれる少なくとも一つのテスト用物体に対応するテスト用ＲＯＩを決定するようにする段階；（ｃ）前記テスト装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、前記プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にし、前記テスト用ＲＯＩ内にあるテスト用サブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、テスト用マスキングされたプーリング済み特徴マップを生成するようにする段階；（ｄ）前記テスト装置が、前記ＣＮＮの出力レイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップに前記ニューラルネットワーク演算（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｏｐｅｒａｔｉｏｎｓ）を適用して、テスト用ＣＮＮ出力値を生成するようにする段階；を含むことを特徴とするテスト方法が提供される。
【００１８】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ｃ）段階は、前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにすることを特徴とするテスト方法が提供される。
【００１９】
一例として、前記マスキングパラメータの中で、特定マスキングパラメータが前記１値である場合、前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応する位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とするテスト方法が提供される。
【００２０】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ｃ）段階は、前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、前記（ｃ）段階は、前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とするテスト方法が提供される。
【００２１】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ｃ）段階は、前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、前記（ｃ）段階は、前記テスト装置が、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに最も大きい値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とするテスト方法が提供される。
【００２２】
本発明のまた他の態様によれば、一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングするコンピューティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）ＣＮＮのコンボリューションレイヤをもって、前記入力イメージに対応する特徴マップを生成するようにするプロセス；（ＩＩ）前記ＣＮＮのＲＰＮをもって、前記特徴マップを用いて前記入力イメージに含まれた少なくとも一つの物体に対応するＲＯＩを決定するようにするプロセス；（ＩＩＩ）前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、マスキングされたプーリング済み特徴マップを生成させるプロセス；を遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置が提供される。
【００２３】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにすることを特徴とするコンピューティング装置が提供される。
【００２４】
一例として、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応する位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とするコンピューティング装置が提供される。
【００２５】
一例として、前記プロセッサが、（ＩＶ）前記ＣＮＮの出力レイヤをもって、前記マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｏｐｅｒａｔｉｏｎｓ）を適用して、ＣＮＮ出力値を生成するようにするプロセス；及び（Ｖ）前記ＣＮＮのロスレイヤをもって、前記ＣＮＮの出力値及びこれに対応するＧＴを参照にして、ロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習するプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。
【００２６】
一例として、前記（Ｖ）プロセスは、前記プロセッサが、前記ロス値をバックプロパゲーションすることにより、前記コンボリューションレイヤ及び前記出力レイヤに含まれたパラメータの少なくとも一部をさらに学習することを特徴とするコンピューティング装置が提供される。
【００２７】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とするコンピューティング装置が提供される。
【００２８】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある前記サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、代表特徴値それぞれを出力し、前記代表特徴値それぞれは、前記ＲＯＩ内にあるそれぞれの対応する前記サブ領域ごとにそれぞれの特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記サブ領域ごとに最も大きい値をそれぞれ求め、これをそれぞれ前記サブ領域ごとの前記代表特徴値に決定することを特徴とするコンピューティング装置が提供される。
【００２９】
本発明のまた他の態様によれば、一つ以上のマスキングパラメータ（ｍａｓｋｉｎｇ  ｐａｒａｍｅｔｅｒｓ）を利用して少なくとも一つのＲＯＩをプーリングするテスト装置において、     各インストラクションを格納する少なくとも一つのメモリ；及び（１）コンピューティング装置が、ＣＮＮのコンボリューションレイヤをもって、前記トレーニングイメージに対応するトレーニング用特徴マップを生成するようにする段階；（２）前記コンピューティング装置が、前記ＣＮＮのＲＰＮをもって、前記トレーニング用特徴マップを用いて前記トレーニングイメージに含まれた少なくとも一つのトレーニング用物体に対応するトレーニング用ＲＯＩを決定するようにする段階；（３）前記コンピューティング装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記トレーニング用ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、トレーニング用マスキングされたプーリング済み特徴マップを生成するようにする段階；（４）前記コンピューティング装置が、前記ＣＮＮの出力レイヤをもって、前記トレーニング用マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｏｐｅｒａｔｉｏｎｓ）を適用して、トレーニング用ＣＮＮ出力値を生成するようにする段階；及び（５）前記コンピューティング装置が、前記ＣＮＮのロスレイヤをもって、前記トレーニング用ＣＮＮの出力値及びこれに対応するＧＴを参照にしてロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習する段階；を経て学習が完了された状態で、（Ｉ）前記ＣＮＮのコンボリューションレイヤをもって、テストイメージに対応するテスト用特徴マップを生成するようにするプロセス；（ＩＩ）前記ＣＮＮの前記ＲＰＮをもって、前記テスト用特徴マップを用いて前記テストイメージに含まれる少なくとも一つのテスト用物体に対応するテスト用ＲＯＩを決定するようにするプロセス；（ＩＩＩ）前記ＣＮＮの前記ＲＯＩプーリングレイヤをもって、前記プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にし、前記テスト用ＲＯＩ内にあるテスト用サブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれに前記プーリング演算をそれぞれ適用して、テスト用マスキングされたプーリング済み特徴マップを生成するようにするプロセス；（ＩＶ）前記ＣＮＮの出力レイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップに前記ニューラルネットワーク演算（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｏｐｅｒａｔｉｏｎｓ）を適用して、テスト用ＣＮＮ出力値を生成するようにするプロセス；  を遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスト装置が提供される。
【００３０】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにすることを特徴とするテスト装置が提供される。
【００３１】
一例として、前記マスキングパラメータの中で、特定マスキングパラメータが前記１値である場合、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応する位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにすることを特徴とするテスト装置が提供される。
【００３２】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とするテスト装置が提供される。
【００３３】
一例として、前記マスキングパラメータそれぞれは、第１値または第２値の中の一つに決定され、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記テスト用ＲＯＩ内にある前記テスト用サブ領域それぞれに前記プーリング演算をそれぞれ適用して、前記テスト用マスキングされたプーリング済み特徴マップを生成するようにし、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記ＲＯＩプーリングレイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップのそれぞれの成分として、テスト用代表特徴値それぞれを出力し、前記テスト用代表特徴値それぞれは、前記テスト用ＲＯＩ内にあるそれぞれの対応する前記テスト用サブ領域ごとにそれぞれのテスト用特徴値の平均値をそれぞれ求めるにあたって、前記第２値のマスキングパラメータに対応する位置に存在する一部の特徴値に対してのみ、前記テスト用サブ領域ごとに平均値をそれぞれ求め、これをそれぞれ前記テスト用サブ領域ごとの前記代表特徴値に決定することを特徴とするテスト装置が提供される。
【発明の効果】
【００３４】
本発明は、ＲＯＩに含まれる特徴値に対応するマスキングパラメータを参照にして、ＲＯＩプーリングに利用される特徴値を選択することにより、メモリアクセス回数が最適化される効果がある。
【００３５】
また、本発明のＲＯＩプーリング方法は、ハードウェアの最適化によってモバイルデバイスまたは小型ネットワークに適用可能である。
【図面の簡単な説明】
【００３６】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【００３７】
【図１】マスキングパラメータを利用してＲＯＩプーリングレイヤを学習するためのコンピューティング装置の構成を示した図面である。
【図２】本発明の一例に係るＣＮＮの構成及び学習過程を示した図面である。
【図３】本発明の一例によって代表特徴値を生成する過程を示した例示図面である。
【図４】従来のＲＯＩプーリング方法によって代表特徴値を生成する過程を示した例示図面である。
【発明を実施するための形態】
【００３８】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００３９】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４０】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４１】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。   
【００４２】
図１は、マスキングパラメータを利用してＲＯＩプーリングレイヤを学習するためのコンピューティング装置の構成を示した図面である。ここで、コンピューティング装置は、学習装置を示し得る。
【００４３】
図１を参照すれば、コンピューティング装置１００は、ＣＮＮ２００を含み得る。前記ＣＮＮ２００による多様なデータの入出力過程及び各種データ演算過程は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。しかし、図１において、通信部１１０とプロセッサ１２０とが如何につながるかについての詳細な説明は省略する。また、コンピューティング装置は、次のプロセスを遂行するためのコンピュータで判読可読な命令語を格納できるメモリ１１５を追加で含み得る。一例として、プロセッサ、メモリ、ミディアム等は、統合プロセッサと統合され得る。
【００４４】
図２は、本発明の一例に係るＣＮＮの構成及び学習過程を示した図面である。
【００４５】
図２を参照すれば、ＣＮＮ２００はコンボリューションレイヤ２１０、ＲＰＮ２２０、ＲＯＩプーリングレイヤ２３０、出力レイヤ２４０、ロスレイヤ２５０を含み得る。
【００４６】
まず、コンボリューションレイヤ２１０は、入力イメージに一つ以上のコンボリューション演算を適用して特徴マップを生成するためのプロセスを遂行し得る。
【００４７】
ＲＰＮ２２０は、出力された特徴マップを利用して入力イメージに含まれた少なくとも一つの物体に対応する少なくとも一つのＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）を決定するためのプロセスを遂行し得る。ＲＯＩの決定に利用される特徴マップはコンボリューションレイヤ２１０で最終的に出力された特徴マップであり得るが、これに限定されない。
【００４８】
ＲＯＩプーリングレイヤ２３０は、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）ごとに、それぞれに前記プーリング演算をそれぞれ適用して、マスキングされたプーリング済み特徴マップを生成させるプロセスを遂行し得る。前記マスキングパラメータが何であるか、どのような方法で参照されるかは、後から詳細に説明することにする。
【００４９】
出力レイヤ２４０は、前記マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、ＣＮＮ出力値を生成するためのプロセスを遂行し得る。その後、ロスレイヤ２５０は、前記ＣＮＮの出力値及びこれに対応するＧＴを参照にしてロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習するために利用され得る。
【００５０】
以上、本発明の一例に係るＣＮＮ２００の構成及び概括的な学習過程について調べてみたところで、以下詳細な学習過程及びマスキングパラメータについて説明する。
【００５１】
ただし、コンボリューションレイヤ２１０及びＲＰＮ２２０で行われるプロセスに関しては十分に説明したため、省略することにする。
【００５２】
ＲＯＩプーリングレイヤ２３０で行われるプロセスに対して、図３に基づいて説明する。  
【００５３】
図３は、本発明の一例によって各サブ領域ごとに代表特徴値それぞれを生成する過程を示した例示図面である。
【００５４】
図３を参照すれば、各サブ領域ごとに一部の値だけがマスキングパラメータによって代表特徴値を生成するのに利用されたことが分かる。
【００５５】
ＲＯＩに含まれたそれぞれの特徴の値に対応するそれぞれのマスキングパラメータは、第１値または第２値に決定される。
【００５６】
コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記マスキングパラメータそれぞれが前記第１値であるかそれとも前記第２値であるかに対する情報を参照にして、前記ＲＯＩ内にある各サブ領域ごとにプーリング演算をそれぞれ適用して、前記マスキングされたプーリング済み特徴マップを生成するようにし得る。もし、前記コンピューティング装置が、前記ＲＯＩプーリングレイヤをもって、前記第１値のマスキングパラメータに対応される位置に存在する一部の特徴値に対しては、前記プーリング演算を適用しないようにする。ここで、第１値は、０に設定され得り、第２値は、１に設定され得る。
【００５７】
ＲＯＩプーリングレイヤ２３０は、ＲＯＩ内のそれぞれのマスキングパラメータ及びそれぞれの特徴の値を要素単位（ｅｌｅｍｅｎｔ−ｗｉｓｅ）で乗じて、代表特徴値を生成することができる。このような方法で、コンピューティングリソースの利用が減少され得る。
【００５８】
プーリング演算が適用される際、コンピューティング装置は、ＲＯＩプーリングレイヤをもって、前記マスキングされたプーリング済み特徴マップのそれぞれの成分として、各サブ領域別の代表特徴値それぞれを出力し得る。ここで、代表特徴値それぞれは、（ｉ）各サブ領域ごとにそれぞれの特徴値の平均値それぞれまたは（ｉｉ）各サブ領域ごとにそれぞれの特徴の値の中で最も大きな値それぞれであり得、ここで利用される特徴値は、前記ＲＯＩ内にあるそれぞれのサブ領域に含まれた特徴値であり、前記特徴値に対応するマスキングパラメータは、前記第２値である。
【００５９】
従って、平均プーリング方法または最大プーリング方法が利用され得るのである。図３の場合、平均プーリングについて描写されているが、最大プーリングの場合にも同じ方式で本発明の一例を適用し得るであろう。
【００６０】
前述の仮定を経てマスキングされたプーリング済み特徴マップが生成されると、出力レイヤ２４０は、前記マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、ＣＮＮ出力値を生成するようにし得る。ニューラルネットワークイメージセグメンテーション、物体検出、クラスタリングなどのための演算であり得るが、これに限定されない。
【００６１】
ＣＮＮ出力値が生成されると、ロスレイヤ２５０は、前記ＣＮＮの出力値及びこれに対応するＧＴを参照にして、ロス値を生成すようにし、前記ロス値をバックプロパゲーションすることにより、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習し得る。ここで、コンボリューションレイヤ２１０及び出力レイヤ２４０に含まれたパラメータの少なくとも一部は、バックプロパゲーション過程で追加的に学習され得る。
【００６２】
以上、本発明の一例に係る学習過程を説明したところで、本発明がテスト装置として機能する際の構成及び学習装置の構成との相違点について説明する。
【００６３】
参考までに、後述する説明において混乱を避けるために、前記学習プロセスに関連する用語には「学習用」という単語が追加され、テスト用プロセスに関連する用語には「テスト用」という単語が追加された。
【００６４】
テスト装置として機能する際の構成を見てみると、先ず（１）コンピューティング装置１００が、ＣＮＮ２００のコンボリューションレイヤ２１０をもって、トレーニングのイメージに対応するトレーニング用特徴マップを生成するようにする段階；（２）前記コンピューティング装置１００が、前記ＣＮＮ２００のＲＰＮ２２０をもって、前記トレーニング用特徴マップを用いて前記トレーニングイメージに含まれた少なくとも一つのトレーニング用物体に対応するトレーニング用ＲＯＩを決定するようにする段階；（３）前記コンピューティング装置１００が、前記ＣＮＮ２００のＲＯＩプーリングレイヤ２３０をもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記トレーニング用ＲＯＩ内にあるサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）それぞれにプーリング演算をそれぞれ適用して、トレーニング用マスキングされたプーリング済み特徴マップを生成するようにする段階；（４）前記コンピューティング装置１００が、前記ＣＮＮ２００の出力レイヤ２４０をもって、前記トレーニング用マスキングされたプーリング済み特徴マップにニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、トレーニング用ＣＮＮ出力値を生成するようにする段階；及び（５）前記コンピューティング装置１００が、前記ＣＮＮ２００のロスレイヤ２５０をもって、前記トレーニング用ＣＮＮ出力値及びこれに対応するＧＴを参照にして、ロス値を生成するようにし、前記ロス値をバックプロパゲーションすることで、前記ＲＯＩプーリングレイヤの前記マスキングパラメータを学習する段階；を経て学習が完了した状態で、前記テスト装置が、テストイメージを取得すると、前記ＣＮＮの前記コンボリューションレイヤをもって、前記テストイメージに対応するテスト用特徴マップを生成するようにする。
【００６５】
二番目に、前記テスト装置が、前記ＣＮＮのＲＰＮをもって、前記テスト用特徴マップを用いて前記テストイメージに含まれる少なくとも一つのテスト用物体に対応するテスト用ＲＯＩを決定するようにする。
【００６６】
三番目に、前記テスト装置が、前記ＣＮＮのＲＯＩプーリングレイヤをもって、プーリング演算それぞれに対応する前記マスキングパラメータそれぞれを参照にして、前記テスト用ＲＯＩ内にあるテスト用各サブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）ごとに前記プーリング演算をそれぞれ適用して、テスト用マスキングされたプーリング済み特徴マップを生成するようにする。
【００６７】
最後に、前記テスト装置が、前記ＣＮＮの出力レイヤをもって、前記テスト用マスキングされたプーリング済み特徴マップに前記ニューラルネットワーク演算（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｏｐｅｒａｔｉｏｎｓ）を適用して、テスト用ＣＮＮ出力値を生成するようにする。
【００６８】
学習装置として機能する際の構成との違いを見ると、テストの過程では、コンボリューションレイヤ２１０、ＲＯＩプーリングレイヤ２３０及び出力レイヤ２４０のパラメータはすべて学習された状態なので、ロス値を生成する過程とバックプロパゲーションする過程は省略され得る。従って、テスト装置として本発明が機能する際の構成は、学習装置として機能する際の構成から、ロス値を生成する部分を除いては、コンピューティング装置１００の構成と同様である。
【００６９】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ及び原本レーブル及び追加レーブルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００７０】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータで読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００７１】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００７２】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020119529.tif 000003
【図２】
2020119529.tif 000004
【図３】
2020119529.tif 000005
【図４】
2020119529.tif 000006