(57)【要約】  本開示の実施例はディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体を開示する。前記方法は、少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力することと、前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることと、前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することと、を含む。本開示の上記実施例によければ、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。【選択図】図１
2020537204.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力することと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応することと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することと、を含むことを特徴とするディープニューラルネットワークの正規化方法。
【請求項２】
前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
ニューラルネットワーク層が出力した特徴マップセットを、少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ること、および／または、
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ること、および／または、
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ること、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得ることと、
前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得ることと、を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記特徴マップセット内の前記少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得ることと、
前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得ることと、を含むことを特徴とする請求項３または４に記載の方法。
【請求項６】
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることと、
前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることと、
前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることと、を含むことを特徴とする請求項２に記載の方法。
【請求項７】
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得ることと、
前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得ることと、を含むことを特徴とする請求項３から６のいずれか一項に記載の方法。
【請求項８】
前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得ることと、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得ることと、を含むことを特徴とする請求項６または７に記載の方法。
【請求項９】
前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得ることと、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得ることと、を含むことを特徴とする請求項６から８のいずれか一項に記載の方法。
【請求項１０】
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することは、
前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得ることと、
前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することと、を含むことを特徴とする請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することは、
前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得ることを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定することをさらに含むことを特徴とする請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
前記入力データはマーク情報を有するサンプルデータであり、
少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することをさらに含むことを特徴とする請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することは、
前記サンプルデータセットを前記ディープニューラルネットワークに入力し、前記ネットワーク層によって、少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力することと、
前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることと、
前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することと、
前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定することと、
前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整することと、を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ること、および／または、
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ること、および／または、
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ること、を含むことを特徴とする請求項１４から１６のいずれか一項に記載の方法。
【請求項１８】
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得ることと、を含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得ることと、を含むことを特徴とする請求項１７または１８に記載の方法。
【請求項２０】
前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることと、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることと、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることと、を含むことを特徴とする請求項１４から１６のいずれか一項に記載の方法。
【請求項２１】
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得ることと、
前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得ることと、を含むことを特徴とする請求項１７から２０のいずれか一項に記載の方法。
【請求項２２】
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得ることと、を含むことを特徴とする請求項２０または２１に記載の方法。
【請求項２３】
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得ることと、を含むことを特徴とする請求項２０から２２のいずれか一項に記載の方法。
【請求項２４】
前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、
前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、
前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得ることと、を含むことを特徴とする請求項１４から２３のいずれか一項に記載の方法。
【請求項２５】
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力するための入力ユニットと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応する次元正規化ユニットと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定するためのバッチ正規化ユニットと、を含むことを特徴とするディープニューラルネットワークの正規化装置。
【請求項２６】
前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含むことを特徴とする請求項２５に記載の装置。
【請求項２７】
前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得るために、および／または、
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得るために、および／または、
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられることを特徴とする請求項２６に記載の装置。
【請求項２８】
前記次元正規化ユニットは前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得る場合、具体的に、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得て、前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得るために用いられることを特徴とする請求項２７に記載の装置。
【請求項２９】
前記次元正規化ユニットは前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、具体的に、前記特徴マップセット内の前記少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得て、前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得るために用いられることを特徴とする請求項２７または２８に記載の装置。
【請求項３０】
前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられることを特徴とする請求項２６に記載の装置。
【請求項３１】
前記次元正規化ユニットは前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得て、前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得るために用いられることを特徴とする請求項２７から３０のいずれか一項に記載の装置。
【請求項３２】
前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得る場合、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得て、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得るために用いられることを特徴とする請求項３０または３１に記載の装置。
【請求項３３】
前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得て、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得るために用いられることを特徴とする請求項３０から３２のいずれか一項に記載の装置。
【請求項３４】
前記バッチ正規化ユニットは前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する場合、前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得て、前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定するために用いられることを特徴とする請求項２５から３３のいずれか一項に記載の装置。
【請求項３５】
前記バッチ正規化ユニットは前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定する場合、前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得るために用いられることを特徴とする請求項３４に記載の装置。
【請求項３６】
前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定するための結果特定ユニットをさらに含むことを特徴とする請求項２５から３５のいずれか一項に記載の装置。
【請求項３７】
前記入力データはマーク情報を有するサンプルデータであり、
少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練するための訓練ユニットをさらに含むことを特徴とする請求項２５から３６のいずれか一項に記載の装置。
【請求項３８】
前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記入力ユニットはさらに、前記サンプルデータセットを前記ディープニューラルネットワークに入力し、前記ネットワーク層によって、少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力するために用いられ、
前記次元正規化ユニットはさらに、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得るために用いられ、
前記バッチ正規化ユニットはさらに、前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定するために用いられ、
前記結果特定ユニットはさらに、前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定するために用いられ、
前記訓練ユニットは、前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整するために用いられることを特徴とする請求項３７に記載の装置。
【請求項３９】
前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことを特徴とする請求項３８に記載の装置。
【請求項４０】
前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含むことを特徴とする請求項３９に記載の装置。
【請求項４１】
前記次元正規化ユニットは具体的に、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得るために、および／または、
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得るために、および／または、
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられることを特徴とする請求項３８から４０のいずれか一項に記載の装置。
【請求項４２】
前記次元正規化ユニットは前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得るために用いられることを特徴とする請求項４１に記載の装置。
【請求項４３】
前記次元正規化ユニットは前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得るために用いられることを特徴とする請求項４１または４２に記載の装置。
【請求項４４】
前記次元正規化ユニットは、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられることを特徴とする請求項４１から４３のいずれか一項に記載の装置。
【請求項４５】
前記次元正規化ユニットは前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つの前記サンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得て、前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得るために用いられることを特徴とする請求項４１から４４のいずれか一項に記載の装置。
【請求項４６】
前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得るために用いられることを特徴とする請求項４４または４５に記載の装置。
【請求項４７】
前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得るために用いられることを特徴とする請求項４４から４６のいずれか一項に記載の装置。
【請求項４８】
前記バッチ正規化ユニットは、前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得て、前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得るために用いられることを特徴とする請求項３８から４７のいずれか一項に記載の装置。
【請求項４９】
実行可能命令を記憶するためのメモリ、および
前記メモリと通信して前記実行可能命令を実行することで請求項１から２４のいずれか一項に記載のディープニューラルネットワークの正規化方法の動作を行うためのプロセッサを含むことを特徴とする電子機器。
【請求項５０】
コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記命令は実行される時に請求項１から２４のいずれか一項に記載のディープニューラルネットワークの正規化方法の動作を実行することを特徴とするコンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は２０１８年６月１３日に中国特許局に提出された、出願番号２０１８１０６０９６０１．０、出願の名称「ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。
【０００２】
本開示はコンピュータビジョン技術に関し、特にディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体に関する。
【背景技術】
【０００３】
ニューラルネットワークの訓練過程では、一般に、入力されたサンプル特徴を正規化処理して、データを平均値が０、標準偏差が１の分布または範囲が０〜１の分布にする。データを正規化しないと、サンプル特徴の分布が散らばるため、ニューラルネットワークの学習速度の低下、学習困難までが引き起こされ得る。
【発明の概要】
【０００４】
本開示の実施例はディープニューラルネットワークにおける正規化技術を提供する。
【０００５】
本開示の実施例の一方面によれば、
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力することと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応することと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することと、を含むディープニューラルネットワークの正規化方法が提供される。
【０００６】
任意選択的に、前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含む。
【０００７】
任意選択的に、ニューラルネットワーク層が出力した特徴マップセットを、少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ること、および／または、
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ること、および／または、
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ること、を含む。
【０００８】
任意選択的に、前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得ることと、
前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得ることと、を含む。
【０００９】
任意選択的に、前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得ることと、
前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得ることと、を含む。
【００１０】
任意選択的に、前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることと、
前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることと、
前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることと、を含む。
【００１１】
任意選択的に、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得ることと、
前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得ることと、を含む。
【００１２】
任意選択的に、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得ることと、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得ることと、を含む。
【００１３】
任意選択的に、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得ることと、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得ることと、を含む。
【００１４】
任意選択的に、前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することは、
前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得ることと、
前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することと、を含む。
【００１５】
任意選択的に、前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することは、
前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得ることを含む。
【００１６】
任意選択的に、前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定することをさらに含む。
【００１７】
任意選択的に、前記入力データはマーク情報を有するサンプルデータであり、
前記方法は、少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することをさらに含む。
【００１８】
任意選択的に、前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することは、
前記サンプルデータセットをディープニューラルネットワークに入力し、前記ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力することと、
前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることと、
前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することと、
前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定することと、
前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整することと、を含む。
【００１９】
任意選択的に、前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含む。
【００２０】
任意選択的に、前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含む。
【００２１】
任意選択的に、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ること、および／または、
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ること、および／または、
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ること、を含む。
【００２２】
任意選択的に、前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得ることと、を含む。
【００２３】
任意選択的に、前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得ることと、を含む。
【００２４】
任意選択的に、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることと、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることと、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることと、を含む。
【００２５】
任意選択的に、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得ることと、
前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得ることと、を含む。
【００２６】
任意選択的に、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得ることと、を含む。
【００２７】
任意選択的に、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得ることと、を含む。
【００２８】
任意選択的に、前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、
前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、
前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得ることと、を含む。
【００２９】
本開示の実施例の別の一方面によれば、
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力するための入力ユニットと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応する次元正規化ユニットと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定するためのバッチ正規化ユニットと、を含むディープニューラルネットワークの正規化装置が提供される。
【００３０】
任意選択的に、前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含む。
【００３１】
任意選択的に、前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得るために、および／または、
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得るために、および／または、
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
【００３２】
任意選択的に、前記次元正規化ユニットは前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得る場合、具体的に、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得て、前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得るために用いられる。
【００３３】
任意選択的に、前記次元正規化ユニットは前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、具体的に、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得て、前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得るために用いられる。
【００３４】
任意選択的に、前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
【００３５】
任意選択的に、前記次元正規化ユニットは前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得て、前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得るために用いられる。
【００３６】
任意選択的に、前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得る場合、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得て、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得るために用いられる。
【００３７】
任意選択的に、前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得て、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得るために用いられる。
【００３８】
任意選択的に、前記バッチ正規化ユニットは前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する場合、前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得て、前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定するために用いられる。
【００３９】
任意選択的に、前記バッチ正規化ユニットは前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定する場合、前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得るために用いられる。
【００４０】
任意選択的に、前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定するための結果特定ユニットをさらに含む。
【００４１】
任意選択的に、前記入力データはマーク情報を有するサンプルデータであり、
前記装置は少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練するための訓練ユニットをさらに含む。
【００４２】
任意選択的に、前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記入力ユニットはさらに、前記サンプルデータセットをディープニューラルネットワークに入力し、前記ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力するために用いられ、
前記次元正規化ユニットはさらに、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得るために用いられ、
前記バッチ正規化ユニットはさらに、前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定するために用いられ、
前記結果特定ユニットはさらに、前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定するために用いられ、
前記訓練ユニットは、前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整するために用いられる。
【００４３】
任意選択的に、前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含む。
【００４４】
任意選択的に、前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含む。
【００４５】
任意選択的に、前記次元正規化ユニットは具体的に、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得るために、および／または、
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得るために、および／または、
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
【００４６】
任意選択的に、前記次元正規化ユニットは前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得るために用いられる。
【００４７】
任意選択的に、前記次元正規化ユニットは前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得るために用いられる。
【００４８】
任意選択的に、前記次元正規化ユニットは、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
【００４９】
任意選択的に、前記次元正規化ユニットは前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得て、前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得るために用いられる。
【００５０】
任意選択的に、前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得るために用いられる。
【００５１】
任意選択的に、前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得るために用いられる。
【００５２】
任意選択的に、前記バッチ正規化ユニットは、前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得て、前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得るために用いられる。
【００５３】
本開示の実施例の別の方面によれば、上記いずれか一項に記載のディープニューラルネットワークの正規化装置を含むプロセッサを備える電子機器が提供される。
【００５４】
本開示の実施例のさらなる別の方面によれば、実行可能命令を記憶するためのメモリ、および、
前記メモリと通信して前記実行可能命令を実行することで上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を行うためのプロセッサを含む電子機器が提供される。
【００５５】
本開示の実施例のさらなる別の方面によれば、コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記命令は実行される時に上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を実行するコンピュータ読み取り可能記憶媒体が提供される。
【００５６】
本開示の実施例のさらなる別の方面によれば、コンピュータ読み取り可能コードを含むコンピュータプログラム製品であって、前記コンピュータ読み取り可能コードが機器において運用される時、前記機器内のプロセッサは上記いずれか一項に記載のディープニューラルネットワークの正規化方法を実現するための命令を実行するコンピュータプログラム製品が提供される。
【００５７】
本開示の上記実施例において提供するディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体によければ、入力データセットをディープニューラルネットワークに入力し、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。このように、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。
【００５８】
以下に図面および実施例により、本開示の技術的解決手段をさらに詳細に説明する。
【図面の簡単な説明】
【００５９】
明細書の一部となる図面は本開示の実施例を説明するものであって、かつその説明と共に本開示の原理を解釈するためのものである。
本開示は、図面を伴う以下の詳細な説明によって、より明確に理解されることができる。
【図１】本開示のディープニューラルネットワークの正規化方法の一つの実施例のフローチャートである。
【図２】本開示の実施例のディープニューラルネットワークの正規化方法の一例の例示図である。
【図３】本開示のディープニューラルネットワークの正規化方法におけるディープニューラルネットワークの一例の構成模式図である。
【図４】本開示のディープニューラルネットワークの正規化装置の一つの実施例の構成模式図である。
【図５】本開示の実施例の端末機器またはサーバの実現に適する電子機器の構成模式図である。
【発明を実施するための形態】
【００６０】
ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例において記述した部材およびステップの相対的な配置、数式および数値は本開示の範囲を限定するものではないことに注意すべきである。
【００６１】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００６２】
以下の少なくとも一つの例示的な実施例に対する説明は、実質的に説明するためのものに過ぎず、本開示およびその適用または使用を何ら限定するものではない。
【００６３】
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部としての援用と見なすべきである。
【００６４】
なお、以下の図面において、類似する符号および英文字は類似項目を表し、ある項目がある図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００６５】
図１は本開示のディープニューラルネットワークの正規化方法の一つの実施例のフローチャートである。図１に示すように、該実施例の方法は以下のステップを含む。
【００６６】
ステップ１１０において、入力データセットをディープニューラルネットワークに入力する。
【００６７】
ここで、入力データセットは少なくとも一つの入力データを含み、該ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）または長期短期記憶ネットワーク（ＬＳＴＭ）、または画像分類（ＩｍａｇｅＮｅｔ）、目標検出および分割（ＣＯＣＯ）、映像認識（Ｋｉｎｅｔｉｃｓ）、画像スタイル化および筆跡生成などを含む様々なビジョンタスクを実現するニューラルネットワークを含むことができるが、これらに限定されない。
【００６８】
ステップ１２０において、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得る。
【００６９】
ここで、特徴マップセットは、少なくとも一つの特徴マップを含み、かつ少なくとも一つのチャネルに対応し、各チャネルは、それぞれ少なくとも一つの特徴マップに対応する。例えば、ネットワーク層が畳み込み層である場合、生成される特徴マップセットが対応するチャネル数は畳み込みカーネルの数と同じであるようになり、畳み込み層が二つの畳み込みカーネルを有すれば、二つのチャネルに対応する特徴マップセットが生成される。任意選択的に、次元は、空間次元、チャネル次元、及びバッチ座標次元の少なくとも一つを含むことができるが、これらに限定されない。
【００７０】
ステップ１３０において、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。
【００７１】
本開示の上記実施例が提供するディープニューラルネットワークの正規化方法によければ、入力データセットをディープニューラルネットワークに入力し、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。このように、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。
【００７２】
任意選択的な一つ以上の実施例では、ステップ１２０は、
特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ること、および／または、
特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ること、および／または、
特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ること、を含んでもよい。
【００７３】
本実施例では、特徴マップの異なる軸線（バッチ座標軸、チャネル軸、空間軸）に沿って三つの次元の統計量を含んで算術平均を計算し、それによって正規化動作の統計計算の次元をより多様にし、バッチサイズに過度に敏感でないようにすると共にバッチ統計に対するロバスト性を維持させる。一方、異なる次元の統計量の重み付け係数を学習し、単一の正規化層については次元毎に統計量の重みを自主的に選択してよく、手動設計を必要とせずに組み合わせによって性能が最も高い正規化動作方式を見出す。
【００７４】
各次元の平均値μkおよび分散σkの計算方法は式（１）に示す。
（式１）
2020537204.tif 000003
・・・式（１）
ここで、μkは平均値を表し、σk2は分散を表し、hncijは任意の４次元（Ｎ，Ｈ，Ｗ，Ｃ）の特徴マップであり、正規化層の入力とされ、そのうち、Ｎは１バッチのデータの量を表し、ＨおよびＷはそれぞれ特徴マップの高さ値および幅値を表し、Ｃは特徴マップセットが対応するチャネル数（即ちステップ１２０におけるネットワーク層に対応するチャネル数）を表し、ｋ∈Ω、Ω＝{ＢＮ、ＩＮ、ＬＮ}、そのうち、ＢＮ、ＩＮ、ＬＮはそれぞれバッチ軸Ｎ、空間軸Ｈ×Ｗ、チャネル軸Ｃに沿って統計量を計算するバッチ正規化、インスタンス正規化、層正規化である。三つの次元の計算方法は類似するが、統計量の画素範囲は異なり、Ikは各次元の統計計算の画素範囲であり、hncijはIk内の点である。
【００７５】
任意選択的に、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得ることと、
空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得ることと、を含む。
【００７６】
空間軸に沿って変化する空間次元に対応する画素範囲はIinで表され、Iin＝{(i,j)/i∈[1,H],j∈[1×W]}、かつｉおよびｊはいずれも正整数であり、空間次元の分散および空間次元の平均値を計算するプロセスで、変化量がｉおよびｊ、即ち特徴マップの高さ値および幅値であることを表す。
【００７７】
任意選択的に、特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および特徴マップセットが対応するチャネル数を変数とし、少なくとも一つの特徴マップに基づいてチャネル次元の平均値を得ることと、
チャネル次元の平均値および少なくとも一つの特徴マップに基づき、チャネル次元の分散を得ることと、を含む。
【００７８】
チャネル軸に沿って変化するチャネル次元に対応する画素範囲はIlnで表され、Iln＝{(c,i,j)/c∈[1,C],i∈[1,H],j∈[1×W]}、かつｃは正整数であり、チャネル次元の分散およびチャネル次元の平均値を計算するプロセスで、変化量がｉ、ｊおよびｃ、即ち特徴マップの高さ値および幅値、ならびにチャネル数であることを表す。
【００７９】
任意選択的に、特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および入力データセットに対応する入力データ数を変数とし、少なくとも一つの特徴マップに基づいてバッチ座標次元の平均値を得ることと、
バッチ座標次元の平均値および少なくとも一つの特徴マップに基づき、バッチ座標次元の分散を得ることと、を含む。
【００８０】
バッチ座標軸に沿って変化するバッチ座標次元に対応する画素範囲はIbnで表され、Ibn＝{(n,i,j)/n∈[1,N],i∈[1,H],j∈[1×W]}、かつｎは正整数であり、バッチ座標次元の分散およびバッチ座標次元の平均値を計算するプロセスで、変化量がｉ、ｊおよびｎ、即ち特徴マップの高さ値および幅値、ならびに入力データセットのデータ数であることを表す。
【００８１】
任意選択的な一つ以上の実施例では、ステップ１２０は、
特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることと、
空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることと、
空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることと、を含んでもよい。
【００８２】
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量が発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例において次元の関係によって、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
【００８３】
任意選択的に、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得ることと、
空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得ることと、を含む。
【００８４】
空間次元の分散および空間次元の平均値の計算は上記他の実施例と同様に、特徴マップの高さ値および幅値を変数とし、式（１）に代入して式（２）を得る。
（式２）
2020537204.tif 000004
・・・式（２）
ここで、μinは空間次元の平均値を表し、
（数１）
2020537204.tif 000005
は空間次元の分散を表す。
【００８５】
式（２）によって空間次元の分散および空間次元の平均値を計算して得る。
【００８６】
任意選択的に、空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることは、
特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値に基づいてチャネル次元の平均値を得ることと、
特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値、空間次元の分散およびチャネル次元の平均値に基づいてチャネル次元の分散を得ることと、を含む。
【００８７】
空間次元の分散および空間次元の平均値が既知の場合、式（３）に基づいてチャネル次元の分散およびチャネル次元の平均値を計算することができる。
（式３）
2020537204.tif 000006
・・・式（３）
ここで、μlnはチャネル次元の平均値を表し、
（数２）
2020537204.tif 000007
はチャネル次元の分散を表す。
【００８８】
式（３）中、変数はチャネル数のみであり、計算量が低減され、処理速度が向上する。
【００８９】
任意選択的に、空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
入力データセットに対応する入力データ数を変数とし、空間次元の平均値に基づいてバッチ座標次元の平均値を得ることと、
入力データセットに対応する入力データ数を変数とし、空間次元の平均値、空間次元の分散およびバッチ座標次元の平均値に基づいてバッチ座標次元の分散を得ることと、を含む。
【００９０】
空間次元の分散および空間次元の平均値が既知の場合、式（４）に基づいてバッチ座標次元の分散およびバッチ座標次元の平均値を計算することができる。
（式４）
2020537204.tif 000008
・・・式（４）
ここで、μbnはバッチ座標次元の平均値を表し、
（数３）
2020537204.tif 000009
はバッチ座標次元の分散を表す。
【００９１】
式（４）中、変数は入力データセットに対応する入力データ数のみであり、計算量が低減され、処理速度が向上する。
【００９２】
空間次元の分散および空間次元の平均値を得てから、まずチャネル次元の分散およびチャネル次元の平均値を計算してもよいし、またはまずバッチ座標次元の分散およびバッチ座標次元の平均値を計算してもよく、前後の順序を限定しなくてもよい。
【００９３】
任意選択的な一つ以上の実施例では、ステップ１３０は、
少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得ることと、
正規化分散および正規化平均値に基づいて目標特徴マップセットを特定することと、を含んでもよい。
【００９４】
本実施例では、正規化分散および正規化平均値によって特徴マップセットを処理し、目標特徴マップセットを得ることができる。任意選択的に、特徴マップセット内の各特徴マップと正規化平均値との差を計算し、差を正規化分散で除算することにより、目標特徴マップを得て、ひいては目標特徴セットを得る。
【００９５】
任意選択的に、正規化分散および正規化平均値に基づいて目標特徴マップセットを特定することは、
正規化分散、正規化平均値、スケールパラメータおよびシフトパラメータに基づいて特徴マップセットを処理し、目標特徴マップセットを得ることを含む。
【００９６】
本実施例では、自己適応正規化式は、式（５）に示されたとおりである。
（式５）
2020537204.tif 000010
・・・式（５）
【００９７】
任意の４次元（Ｎ，Ｈ，Ｗ，Ｃ）の特徴マップhncijを入力とし、その各画素点に対する自己適応正規化を行い、同じ次元の特徴マップ
（数４）
2020537204.tif 000011
を出力する。ここで、n∈[1, N]、Ｎは一つの小バッチのサンプル数を表し、c∈[1, C]、Ｃは特徴マップのチャネル数であり、i∈[1, H]かつj∈[1, W]、ＨおよびＷはそれぞれ各チャネル空間次元での高さ値および幅値である。自己適応正規化方法による計算は式（５）を参照すればよい。γおよびβはそれぞれ一般的なズームおよびシフトパラメータであり、εは数値の不安定を予防するための非常に小さい定数である。各画素点について、正規化の平均値μ=Σk∈Ωωkμkであり、分散σ=Σk∈Ωωkσk2であり、ωkは異なる次元の平均値および分散に対応する次元重み値を表す。平均値および分散の演算は３つの次元（空間次元、チャネル次元およびバッチ座標次元）の平均値および分散によって決定され、即ちΩ＝{ＢＮ、ＩＮ、ＬＮ}であり、ここで、ＢＮ、ＩＮ、ＬＮはそれぞれバッチ軸Ｎ、空間軸Ｈ×Ｗ、チャネル軸Ｃに沿って統計量を計算するバッチ正規化、インスタンス正規化、層正規化であり、図２に示されたとおりである。図２は本開示の実施例のディープニューラルネットワークの正規化方法の一例の例示図である。
【００９８】
任意選択的な一つ以上の実施例では、さらに、
目標特徴マップセットに基づいて入力データセットが少なくとも一つのデータ結果に対応することを特定することを含んでもよい。
【００９９】
正規化動作はネットワーク層が出力した特徴マップに基づいて行われるため、ディープニューラルネットワークが得た特徴マップセットを正規化してから、処理し続ければ、データ結果を得る。異なるタスクによるディープニューラルネットワークについて、異なるデータ結果（例えば、分類結果、分割結果、認識結果など）を出力することができる。
【０１００】
任意選択的な一つ以上の実施例では、入力データはマーク情報を有するサンプルデータであり、
本開示の実施例の方法はさらに、
サンプルデータセットに基づいてディープニューラルネットワークを訓練することを含んでもよい。
【０１０１】
ここで、サンプルデータセットは少なくとも一つのサンプルデータを含み、少なくとも一つの次元で正規化が行われる。より高い正規化効果の特徴マップを得るために、ディープニューラルネットワークの正規化層におけるパラメータを訓練する必要がある。ディープニューラルネットワークに正規化層を追加して訓練することで、訓練をより高速に収束させ、より高い訓練効果を達成することができる。
【０１０２】
任意選択的に、ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含む。
【０１０３】
本開示の実施例はネットワークの各正規化層に対して各々の正規化動作方式を選択する。本開示の実施例が提供する正規化方法を全ディープニューラルネットワークの全ての正規化層に用いることにより、ネットワークの各正規化層を、学習によって各々の特徴表現に役立つ正規化統計量をより敏感に選択可能にすることができ、ネットワークの異なる深さで視覚表現が異なるので異なる正規化動作方式を選択することが確認される。
【０１０４】
サンプルデータセットに基づいてディープニューラルネットワークを訓練することは、
サンプルデータセットをディープニューラルネットワークに入力し、ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力することと、
正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることと、
サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することと、
予測特徴マップセットに基づいてサンプルデータに対応する予測結果を特定することと、
予測結果およびマーク情報に基づき、少なくとも一つのネットワーク層のパラメータおよび少なくとも一つの正規化層のパラメータを調整することと、を含む。
【０１０５】
任意選択的に、正規化層はネットワーク層の後に設置され、図３は本開示のディープニューラルネットワークの正規化方法におけるディープニューラルネットワークの一例の構成模式図である。図３に示すように、小バッチのサンプルデータを入力とし、多層のニューラルネットワークによって、該バッチのサンプルデータの予測結果を出力する。正規化層を各ニューラルネットワーク層の後に追加し、特徴マップの自己適応正規化を層毎に行い、それによってネットワークの訓練の収束速度を向上させ、モデル精度を向上させる。
【０１０６】
任意選択的に、正規化方法を種々のディープニューラルネットワークモデル（ＲｅｓＮｅｔ５０、ＶＧＧ１６、ＬＳＴＭ）に組み込み、様々なビジョンタスク（画像分類、目標検出および分割、画像スタイル化、筆跡生成）に用いてもよい。従来の正規化方法に比べ、本開示の実施例が提供する正規化方法はより高い汎用性を有し、異なるビジョンタスクにおいてより有効な結果を得ることができる。
【０１０７】
任意選択的に、正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことができるが、これらに限定されない。
【０１０８】
任意選択的に、重み値は、空間次元重み値、チャネル次元重み値、及びバッチ座標次元重み値の少なくとも一つを含む。
【０１０９】
そのうち、次元に対応する重み値は、各次元をそれぞれ一つの重み値に対応させ、三つの次元の統計量のそれぞれに対して三つの重み付け係数を有させるようにしてもよいし、平均値および分散ごとに異なる六つの係数を有させるように拡張してもよい。一方、前に説明した自己適応正規化方法は全てのチャネルにおいて重み付け係数を共有するが、チャネルをグループ分けし、各グループ内でチャネルに係数を共有させるようにしてもよく、各チャネルにサブセットの重み付け係数を学習させるようにしてもよい。要するに、自己適応正規化方法は拡張可能であり、異なる次元の統計量を異なる重み付けで組み合わせることによって、従来の任意の手動設計による正規化方法を代替することができる。
【０１１０】
任意選択的に、正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ること、および／または、
サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ること、および／または、
サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ること、を含む。
【０１１１】
本実施例はサンプルの特徴マップセットを少なくとも一つの次元で正規化し、従来のバッチ正規化方法においてバッチ次元で統計量を計算するためバッチサイズまたは他の次元に過度に依存するという問題を克服し、同時に従来のバッチ正規化方法はモデルやタスクによって効果が制限されるという問題を克服することができる。本実施例は少なくとも一つの空間座標軸に沿って三つの次元の統計量の算術平均を計算することにより、正規化動作による各次元の統計情報を包含し、従来技術に比べてバッチサイズに過度に依存しないと共に各次元での統計に対する高いロバスト性を有する。
【０１１２】
任意選択的に、サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることは、
サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得ることと、
サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得ることと、を含む。
【０１１３】
任意選択的に、サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルの特徴マップセットが対応するチャネル数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのチャネル次元の平均値を得ることと、
サンプルのチャネル次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのチャネル次元の分散を得ることと、を含む。
【０１１４】
任意選択的に、サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルデータセットに対応するサンプルデータ数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのバッチ座標次元の平均値を得ることと、
サンプルのバッチ座標次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのバッチ座標次元の分散を得ることと、を含む。
【０１１５】
本実施例では、空間次元、チャネル次元およびバッチ座標次元の分散および平均値は計算方法が予測プロセスと同様に、上記式（１）に基づいて計算して得ることができ、異なる次元の平均値および分散を計算し、計算して得られた平均値および分散に基づいて重み付け平均し、サンプルの特徴マップセットに対応する平均値および分散を得て、それを式（５）に代入して予測特徴マップセットを得ることができる。任意選択的に、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、サンプル正規化分散、サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいてサンプルの特徴マップセットを処理し、予測特徴マップセットを得ることと、を含む。
【０１１６】
任意選択的な一つ以上の実施例では、前記正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることと、
任意選択的に、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得ることと、
サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得ることと、を含む。
【０１１７】
サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づき、チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、
任意選択的に、サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値に基づいてサンプルのチャネル次元の平均値を得て、
サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値、サンプルの空間次元の分散およびサンプルのチャネル次元の平均値に基づいてサンプルのチャネル次元の分散を得る。
【０１１８】
サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づいて、バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る。
【０１１９】
任意選択的に、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得て、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得る。
【０１２０】
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量を発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例は次元の関係によって、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
【０１２１】
任意選択的な一つ以上の実施例では、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、
サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、
サンプル正規化分散、サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいてサンプルの特徴マップセットを処理し、予測特徴マップセットを得ることと、を含む。
【０１２２】
任意選択的に、重み付け平均の重み値、スケールパラメータおよびシフトパラメータはいずれも本開示の実施例における正規化層の調整に必要なパラメータであり、訓練によって異なる次元の統計量の重み付け係数を学習し、単一の正規化層については各次元の統計量の重みを自主的に選択してもよく、手動設計を必要とせずに組み合わせによって性能が最も高い正規化動作方式を見出す。
【０１２３】
任意選択的に、サンプルの少なくとも一つの次元の分散は、サンプルの空間次元の分散、サンプルのチャネル次元の分散およびサンプルのバッチ座標次元の分散を含み、
サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得ることは、
サンプルの空間次元の分散と空間次元重み値との積、サンプルのチャネル次元の分散とチャネル次元重み値との積、およびサンプルのバッチ座標次元の分散とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化分散を得ることを含む。
【０１２４】
任意選択的に、サンプルの少なくとも一つの次元の平均値は、サンプルの空間次元の平均値、サンプルのチャネル次元の平均値およびサンプルのバッチ座標次元の平均値を含み、
サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることは、
サンプルの空間次元の平均値と空間次元重み値との積、サンプルのチャネル次元の平均値とチャネル次元重み値との積、およびサンプルのバッチ座標次元の平均値とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化平均値を得ることを含む。
【０１２５】
任意選択的に、各次元の統計量（平均値および分散）の次元重み値は式（６）によって計算して得てもよい。
（式６）
2020537204.tif 000012
・・・式（６）
ここで、ωkは異なる次元の平均値および分散に対応する次元重み値を表し、λkは三つの次元の統計量に対応するネットワークパラメータであり、該パラメータは逆伝搬時に最適化学習を行い、λkを最適化することで次元重み値ωkの最適化を実現し、
（数５）
2020537204.tif 000013
はzの値がbn、inおよびlnの場合の、対応するeλzの和を計算することを表す。Ｓｏｆｔｍａｘ関数により最適化パラメータを正規化し、統計量の最終的な重み付け係数（次元重み値）を計算することができる。また、全ての重み付け係数ωkの和は１であり、各重み付け係数ωkの値は０から１の範囲にある。
【０１２６】
本実施例では、各次元の統計量のデータ平均値を計算することで、サンプル正規化平均値およびサンプル正規化分散を得る。任意選択的に、次元に対応する重み値は、各次元をそれぞれ一つの重み値に対応させ、三つの次元の統計量のそれぞれに対して三つの重み付け係数を有させるようにしてもよいし、各平均値および分散ごとに六つの異なる係数を有させるように拡張してもよい。一方、前に説明した自己適応正規化方法は全てのチャネルにおいて重み付け係数を共有するが、チャネルをグループ分けし、各グループ内でチャネルに係数を共有させるようにしてもよく、各チャネルにサブセットの重み付け係数を学習させるようにしてもよい。要するに、自己適応正規化方法は拡張可能であり、異なる次元の統計量を異なる重み付けで組み合わせることによって、従来の任意の手動設計による正規化方法を代替することができる。
【０１２７】
自己適応正規化方法はニューラルネットワークが複数の次元を視覚的に表現する統計量情報を計算することができ、異なる重み付け係数での組み合わせによって、従来の任意の綿密な手動設計による正規化方法を代替することができる。一方、自己適応正規化方法は異なる次元の統計量について異なる重み付け係数を学習し、それにより多数の実現しやすい正規化技術を得ることができる。
【０１２８】
本開示の実施例が提供する正規化方法は、ネットワークモデルにおける正規化方式の自己適応選択を実現し、モデルの高速収束を促進し、製品モデルの効果を改善する。さらに汎用性が高いという利点を有し、様々な異なるネットワークモデルおよびビジョンタスクに適することができ、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）または長期短期記憶ネットワーク（ＬＳＴＭ）に簡単かつ効果的に用いることができ、画像分類（ＩｍａｇｅＮｅｔ）、目標検出および分割（ＣＯＣＯ）、映像認識（Ｋｉｎｅｔｉｃｓ）、画像スタイル化および筆跡生成などを含む様々なビジョンタスクにおいて優れた効果を達成でき、後続で敵対的生成ネットワーク（ＧＡＮ）での高解像度画像の合成に用いられる。
【０１２９】
本開示の実施例が提供する正規化方法はネットワーク訓練を最適化するのに正規化層による補助が必要なあらゆる製品モデル、および画像認識、目標検出、目標分割、画像スタイル化などの技術が必要なあらゆる応用シーンに用いることができる。
【０１３０】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出して完了させることができることを理解すべきであり、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時、上記方法の実施例のステップを実行する。
【０１３１】
図４は本開示のディープニューラルネットワークの正規化装置の一つの実施例の構成模式図である。該実施例の装置は本開示の上記各方法の実施例を実現するために用いることができる。図４に示すように、該実施例の装置は入力ユニット４１、次元正規化ユニット４２およびバッチ正規化ユニット４３を含む。
【０１３２】
入力ユニット４１は、入力データセットをディープニューラルネットワークに入力するために用いられる。
ここで、入力データセットは少なくとも一つの入力データを含み、該ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）または長期短期記憶ネットワーク（ＬＳＴＭ）、または画像分類（ＩｍａｇｅＮｅｔ）、目標検出および分割（ＣＯＣＯ）、映像認識（Ｋｉｎｅｔｉｃｓ）、画像スタイル化および筆跡生成などを含む様々なビジョンタスクを実現するニューラルネットワークを含むことができるが、これらに限定されない。
【０１３３】
次元正規化ユニット４２は、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得るために用いられる。
特徴マップセットは少なくとも一つの特徴マップを含み、かつ少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの特徴マップに対応する。任意選択的に、次元は、空間次元、チャネル次元、及びバッチ座標次元の少なくとも一つを含むことができるが、これらに限定されない。
【０１３４】
バッチ正規化ユニット４３は、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定するために用いられる。
【０１３５】
本開示の上記実施例が提供するディープニューラルネットワークの正規化装置によければ、入力データセットをディープニューラルネットワークに入力し、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。このように、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。
【０１３６】
任意選択的な一つ以上の実施例では、次元正規化ユニット４２は、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得るために、および／または、
特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得るために、および／または、
特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
【０１３７】
本実施例では、特徴マップの異なる軸線（バッチ座標軸、チャネル軸、空間軸）に沿って三つの次元の統計量を含んで算術平均を計算し、それによって正規化動作の統計計算の次元をより多様にし、バッチサイズに過度に敏感でないようにすると共にバッチ統計に対するロバスト性を維持させる。一方、異なる次元の統計量の重み付け係数を学習し、単一の正規化層については各次元の統計量の重みを自主的に選択してもよく、手動設計を必要とせずに組み合わせによって性能が最も高い正規化動作方式を見出す。各次元の平均値μkおよび分散σkは上記式（１）によって計算して得ることができる。
【０１３８】
任意選択的に、次元正規化ユニット４２は特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得て、空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得るために用いられる。
【０１３９】
任意選択的に、次元正規化ユニット４２は特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得る場合、具体的に、特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および特徴マップセットに対応するチャネル数を変数とし、少なくとも一つの特徴マップに基づいてチャネル次元の平均値を得て、チャネル次元の平均値および少なくとも一つの特徴マップに基づき、チャネル次元の分散を得るために用いられる。
【０１４０】
任意選択的に、次元正規化ユニット４２は特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、具体的に、特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および入力データセットに対応する入力データ数を変数とし、少なくとも一つの特徴マップに基づいてバッチ座標次元の平均値を得て、バッチ座標次元の平均値および少なくとも一つの特徴マップに基づき、バッチ座標次元の分散を得るために用いられる。
【０１４１】
任意選択的な一つ以上の実施例では、次元正規化ユニット４２は、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得て、空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得、空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
【０１４２】
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量が発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例において次元の関係に基づき、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
【０１４３】
任意選択的に、次元正規化ユニット４２は特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得て、空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得るために用いられる。
【０１４４】
任意選択的に、次元正規化ユニット４２は空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得る場合、特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値に基づいてチャネル次元の平均値を得て、特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値、空間次元の分散およびチャネル次元の平均値に基づいてチャネル次元の分散を得るために用いられる。
【０１４５】
任意選択的に、次元正規化ユニット４２は空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、入力データセットに対応する入力データ数を変数とし、空間次元の平均値に基づいてバッチ座標次元の平均値を得て、入力データセットに対応する入力データ数を変数とし、空間次元の平均値、空間次元の分散およびバッチ座標次元の平均値に基づいてバッチ座標次元の分散を得るために用いられる。
【０１４６】
任意選択的な一つ以上の実施例では、バッチ正規化ユニット４３は少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する場合、少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得て、正規化分散および正規化平均値に基づいて目標特徴マップセットを特定するために用いられる。
【０１４７】
本実施例では、正規化分散および正規化平均値のみで特徴マップセットを処理し、目標特徴マップセットを得る。任意選択的に、特徴マップセット内の少なくとも一つの特徴マップと正規化平均値との差を計算し、差を正規化分散で除算し、目標特徴マップを得て、ひいては目標特徴セットを得る。
【０１４８】
任意選択的に、バッチ正規化ユニット４３は正規化分散および正規化平均値に基づいて目標特徴マップセットを特定する場合、正規化分散、正規化平均値、スケールパラメータおよびシフトパラメータに基づいて特徴マップセットを処理し、目標特徴マップセットを得るために用いられてもよい。
【０１４９】
本実施例では、従来技術におけるバッチ正規化の計算式を調整し、上記式（５）に示したような自己適応正規化式を得て、式（５）に基づいて計算して目標特徴マップセットを得る。
【０１５０】
任意選択的な一つ以上の実施例では、さらに、
目標特徴マップセットに基づいて入力データセットが少なくとも一つのデータ結果に対応することを特定するための結果特定ユニットを含んでもよい。
【０１５１】
正規化動作はネットワーク層が出力した特徴マップに基づいて行われるため、ディープニューラルネットワークが得た特徴マップセットを正規化してから、処理し続ければ、データ結果を得る。異なるタスクによるディープニューラルネットワークについて、異なるデータ結果（例えば、分類結果、分割結果、認識結果など）を出力することができる。
【０１５２】
任意選択的な一つ以上の実施例では、入力データはマーク情報を有するサンプルデータであり、
本開示の実施例の装置はさらに、
サンプルデータセットに基づいてディープニューラルネットワークを訓練するための訓練ユニットを含む。
【０１５３】
サンプルデータセットは少なくとも一つのサンプルデータを含み、少なくとも一つの次元で正規化が行われる。より高い正規化効果の特徴マップを得るために、ディープニューラルネットワークの正規化層におけるパラメータを訓練する必要がある。ディープニューラルネットワークに正規化層を追加して訓練することで、訓練をより高速に収束させ、より高い訓練効果を達成することができる。
【０１５４】
任意選択的に、ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
入力ユニット４１はさらに、サンプルデータセットをディープニューラルネットワークに入力し、ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力するために用いられ、
次元正規化ユニット４２はさらに、正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得るために用いられ、
バッチ正規化ユニット４３はさらに、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定するために用いられ、
結果特定ユニットはさらに、予測特徴マップセットに基づいてサンプルデータに対応する予測結果を特定するために用いられ、
訓練ユニットはさらに、予測結果およびマーク情報に基づき、少なくとも一つのネットワーク層のパラメータおよび少なくとも一つの正規化層のパラメータを調整するために用いられる。
【０１５５】
任意選択的に、正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことができるが、これらに限定されない。
【０１５６】
任意選択的に、重み値は、空間次元重み値、チャネル次元重み値、及びバッチ座標次元重み値の少なくとも一つを含むことができるが、これらに限定されない。
【０１５７】
任意選択的に、次元正規化ユニット４２は、サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得るために、および／または、
サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得るために、および／または、
サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
【０１５８】
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得て、サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得るために用いられる。
【０１５９】
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルの特徴マップセットに対応するチャネル数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのチャネル次元の平均値を得て、サンプルのチャネル次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのチャネル次元の分散を得るために用いられる。
【０１６０】
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルデータセットに対応するサンプルデータ数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのバッチ座標次元の平均値を得て、サンプルのバッチ座標次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのバッチ座標次元の分散を得るために用いられる。
【０１６１】
任意選択的な一つ以上の実施例では、次元正規化ユニット４２は、サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得て、サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づき、チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づいて、バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
【０１６２】
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量を発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例において次元の関係によって、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
【０１６３】
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得て、サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得るために用いられる。
【０１６４】
任意選択的に、次元正規化ユニット４２はサンプルの空間次元の分散およびサンプルの空間次元の平均値に基づき、チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値に基づいてサンプルのチャネル次元の平均値を得て、サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値、サンプルの空間次元の分散およびサンプルのチャネル次元の平均値に基づいてサンプルのチャネル次元の分散を得るために用いられる。
【０１６５】
任意選択的に、次元正規化ユニット４２はサンプルの空間次元の分散およびサンプルの空間次元の平均値に基づいて、バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、サンプルデータセットに対応するサンプルデータ数を変数とし、サンプルの空間次元の平均値に基づいてサンプルのバッチ座標次元の平均値を得て、サンプルデータセットに対応するサンプルデータ数を変数とし、サンプルの空間次元の平均値、サンプルの空間次元の分散およびサンプルのバッチ座標次元の平均値に基づいてサンプルのバッチ座標次元の分散を得るために用いられる。
【０１６６】
任意選択的に、バッチ正規化ユニット４３は、サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得て、サンプル正規化分散、サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいてサンプルの特徴マップセットを処理し、予測特徴マップセットを得るために用いられる。
【０１６７】
任意選択的に、サンプルの少なくとも一つの次元の分散は、サンプルの空間次元の分散、サンプルのチャネル次元の分散およびサンプルのバッチ座標次元の分散を含み、
バッチ正規化ユニット４３はサンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得る場合、サンプルの空間次元の分散と空間次元重み値との積、サンプルのチャネル次元の分散とチャネル次元重み値との積、およびサンプルのバッチ座標次元の分散とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化分散を得るために用いられる。
【０１６８】
任意選択的に、サンプルの少なくとも一つの次元の平均値は、サンプルの空間次元の平均値、サンプルのチャネル次元の平均値およびサンプルのバッチ座標次元の平均値を含み、
バッチ正規化ユニット４３はサンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得る場合、サンプルの空間次元の平均値と空間次元重み値との積、サンプルのチャネル次元の平均値とチャネル次元重み値との積、およびサンプルのバッチ座標次元の平均値とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化平均値を得るために用いられる。
【０１６９】
本開示の実施例の別の方面によれば、上記いずれか一項に記載のディープニューラルネットワークの正規化装置を含むプロセッサを備える電子機器が提供される。
【０１７０】
本開示の実施例のさらなる別の方面によれば、実行可能命令を記憶するためのメモリ、および
前記メモリと通信して前記実行可能命令を実行することで上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を行うためのプロセッサを含む電子機器が提供される。
【０１７１】
本開示の実施例は、例えば、移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどのような電子機器をさらに提供する。本開示の実施例における端末機器またはサーバの実現に適する電子機器５００の構成を模式的に示す図５を参考されたい。図５に示すように、電子機器５００は一つ以上のプロセッサ、通信部などを含む。前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）５０１、および／または一つ以上の画像処理装置（ＧＰＵ）５１３などである。プロセッサは、読み取り専用メモリ（ＲＯＭ）５０２に記憶されている実行可能命令、または記憶部分５０８からランダムアクセスメモリ（ＲＡＭ）５０３にローディングされた実行可能命令に基づいて、様々な適当の動作および処理を実行できる。通信部５１２はネットワークカードを含んでよいが、これに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、これに限定されない。
【０１７２】
プロセッサは、実行可能命令を実行するように読み取り専用メモリ５０２および／またはランダムアクセスメモリ５０３と通信し、バス５０４を介して通信部５１２と接続し、さらに通信部５１２によって他の目標機器と通信して、本開示の実施例が提供する方法のいずれかに対応する動作を完了してよい。例えば、入力データセットをディープニューラルネットワークに入力することと、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることと、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを得ることがある。
【０１７３】
また、ＲＡＭ５０３には、装置の動作に必要な種々のプログラムおよびデータが記憶されてよい。ＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３はバス５０４を介して互いに接続される。ＲＡＭ５０３がある場合、ＲＯＭ５０２は任意選択的なモジュールとなる。ＲＡＭ５０３は中央処理装置５０１に上記通信方法に対応する動作を実行させる実行可能命令を記憶するか、または動作時にＲＯＭ５０２へ当該実行可能命令を書き込む。入力／出力（Ｉ／Ｏ）インタフェース５０５もバス５０４に接続される。通信部５１２は集積的に設けられてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有しかつバスを介してリンクされるように設置されてもよい。
【０１７４】
キーボード、マウスなどを含む入力部分５０６、例えば陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分５０７、ハードディスクなどを含む記憶部分５０８、および例えばＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部分５０９がＩ／Ｏインタフェース５０５に接続される。通信部分５０９はインターネットなどのネットワークを介して通信処理を実行する。ドライバ５１０も必要に応じてＩ／Ｏインタフェース５０５に接続される。取り外し可能な媒体５１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどは、必要に応じてドライバ５１０に取り付けられて、そこから読み出されたコンピュータプログラムが必要に応じて記憶部分５０８にインストールされる。
【０１７５】
説明すべきは、図５に示すアーキテクチャは任意選択的な一つの実現方式に過ぎない。具体的な実践過程では、実際な必要に応じて、上記図５の部品数およびタイプの選択、削減、増加または置き換えを行ってよい。異なる機能部品の設置について、個別または集積な設置などの実現方式を採用してもよく、例えばＧＰＵ５１３とＣＰＵ５０１は個別に設置されてよいか、またはＧＰＵ５１３をＣＰＵ５０１に集積させてよい。通信部は個別に設置されてもよく、ＣＰＵ５０１またはＧＰＵ５１３に集積的に設けられてもよい。これらの代替な実施形態はいずれも本開示の保護範囲に属する。
【０１７６】
特に、本開示の実施例によれば、上記でフローチャートを参照しながら説明されたプロセスはコンピュータソフトウェアプログラムとして実現されてよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、コンピュータプログラム製品は機械読取可能媒体に有形に具現化され、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本開示の実施例により提供される方法を実行するステップに対応する命令を含んでよい。例えば、入力データセットをディープニューラルネットワークに入力することと、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることと、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することがある。このような実施例では、該コンピュータプログラムは通信部分５０９によってネットワークからダウンロード、インストールされ、および／または取り外し可能な媒体５１１からインストールされてよい。該コンピュータプログラムにおける中央処理装置（ＣＰＵ）５０１に実行される場合、本開示の方法に限定された上記機能を実行する。
【０１７７】
本開示の実施例のさらに別の方面によれば、コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記命令は実行される時に上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を実行するコンピュータ読み取り可能記憶媒体が提供される。
【０１７８】
本開示の実施例のさらに別の方面によれば、コンピュータ読み取り可能コードを含むコンピュータプログラム製品であって、前記コンピュータ読み取り可能コードが機器において運用される時、前記機器内のプロセッサは上記いずれか一項に記載のディープニューラルネットワークの正規化方法を実現するための命令を実行するコンピュータプログラム製品が提供される。
【０１７９】
本開示の方法および装置は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本開示の方法および装置を実現できる。前記方法のステップの上記順序は単に説明するためのものに過ぎず、本開示の方法のステップは、特に断らない限り、以上に具体的に記述した順序に限定されない。また、いくつかの実施例では、本開示を記録媒体に記録されたプログラムとして実施してもよく、これらのプログラムは本開示に係る方法を実現するための機械可読指令を含む。従って、本開示は本開示に係る方法を実行するためのプログラムを記憶する記録媒体も包含する。
【０１８０】
本開示の記述は例示および説明のためのもので、漏れなくまたは開示した形式に本開示を限定するものではない。様々な修正および変更は、当業者にとって自明である。選択および記述した実施例は、本開示の原理および実際の適用をより効果的に説明し、かつ当業者に本開示を理解させて、特定の用途に適する様々な修正付きの様々な実施例を設計するためのものである。
【図１】
2020537204.tif 000014
【図２】
2020537204.tif 000015
【図３】
2020537204.tif 000016
【図４】
2020537204.tif 000017
【図５】
2020537204.tif 000018
【手続補正書】
【提出日】令和2年4月15日(2020.4.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力することと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応することと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することと、を含むことを特徴とするディープニューラルネットワークの正規化方法。
【請求項２】
前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含み、
ニューラルネットワーク層が出力した特徴マップセットを、少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ること、および／または、前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ること、および／または、前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ること、を含み、または、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることと、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることと、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得ることと、
前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得ることと、を含み、および／または、
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記特徴マップセット内の前記少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得ることと、
前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得ることと、を含み、および／または、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得ることと、
前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得ることと、を含み、および／または、
前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得ることと、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得ることと、を含み、および／または、
前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得ることと、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得ることと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することは、
前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得ることと、
前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することと、を含むことを特徴とする請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することは、
前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得ることを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定することをさらに含むことを特徴とする請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記入力データはマーク情報を有するサンプルデータであり、
少なくとも一つのサンプルデータを含むサンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することをさらに含むことを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することは、
前記サンプルデータセットを前記ディープニューラルネットワークに入力し、前記ネットワーク層によって、少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力することと、
前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることと、
前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することと、
前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定することと、
前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整することと、を含み、
前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含み、
前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ること、および／または、前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ること、および／または、前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ること、を含み、または、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることと、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることと、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得ることと、を含み、および／または、
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得ることと、を含み、および／または、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得ることと、
前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得ることと、を含み、および／または、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得ることと、を含み、および／または、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得ることと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、
前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、
前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得ることと、を含むことを特徴とする請求項８から１０のいずれか一項に記載の方法。
【請求項１２】
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力するための入力ユニットと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応する次元正規化ユニットと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定するためのバッチ正規化ユニットと、を含むことを特徴とするディープニューラルネットワークの正規化装置。
【請求項１３】
前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含み、
前記次元正規化ユニットは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得るために、および／または、前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得るために、および／または、前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられ、または、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記次元正規化ユニットは前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得る場合、具体的に、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得て、前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、具体的に、前記特徴マップセット内の前記少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得て、前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得て、前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得る場合、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得て、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得て、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得るために用いられることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記バッチ正規化ユニットは前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する場合、前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得て、前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定するために用いられることを特徴とする請求項１２から１４のいずれか一項に記載の装置。
【請求項１６】
前記バッチ正規化ユニットは前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定する場合、前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得るために用いられることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定するための結果特定ユニットをさらに含むことを特徴とする請求項１２から１６のいずれか一項に記載の装置。
【請求項１８】
前記入力データはマーク情報を有するサンプルデータであり、
少なくとも一つのサンプルデータを含むサンプルデータセットに基づいて前記ディープニューラルネットワークを訓練するための訓練ユニットをさらに含むことを特徴とする請求項１２から１７のいずれか一項に記載の装置。
【請求項１９】
前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記入力ユニットはさらに、前記サンプルデータセットを前記ディープニューラルネットワークに入力し、前記ネットワーク層によって、少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力するために用いられ、
前記次元正規化ユニットはさらに、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得るために用いられ、
前記バッチ正規化ユニットはさらに、前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定するために用いられ、
前記結果特定ユニットはさらに、前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定するために用いられ、
前記訓練ユニットは、前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整するために用いられ、
前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含み、
前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含むことを特徴とする請求項１８に記載の装置。
【請求項２０】
前記次元正規化ユニットは具体的に、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得るために、および／または、前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得るために、および／または、前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられ、または、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられることを特徴とする請求項１９に記載の装置。
【請求項２１】
前記次元正規化ユニットは前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つの前記サンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得て、前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得るために用いられ、および／または、
前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得るために用いられることを特徴とする請求項２０に記載の装置。
【請求項２２】
前記バッチ正規化ユニットは、前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得て、前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得るために用いられることを特徴とする請求項１９から２１のいずれか一項に記載の装置。
【請求項２３】
実行可能命令を記憶するためのメモリ、および
前記メモリと通信して前記実行可能命令を実行することで請求項１から１１のいずれか一項に記載のディープニューラルネットワークの正規化方法の動作を行うためのプロセッサを含むことを特徴とする電子機器。
【請求項２４】
コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記命令は実行される時に請求項１から１１のいずれか一項に記載のディープニューラルネットワークの正規化方法の動作を実行することを特徴とするコンピュータ読み取り可能記憶媒体。
【請求項２５】
コンピュータ読み取り可能コードを含み、前記コンピュータ読み取り可能コードが電子機器において運用される時、前記電子機器内のプロセッサに請求項１から１１のいずれか一項に記載の方法を実行させることを特徴とするコンピュータプログラム。
【国際調査報告】
2020537204.tif 000019
2020537204.tif 000020
2020537204.tif 000021
2020537204.tif 000022