AI 特許紹介(9)～バッチノーマライゼーション特許～
2019 年 12 月 10 日
河野特許事務所
所長 弁理士 河野英仁
「AI 特許紹介」シリーズは、注目すべき AI 特許のポイントを紹介します。熾烈な競争となっている第４次産業革命下では AI 技術がキーとなり、この AI 技術・ソリュー
ションを特許として適切に権利化しておくことが重要であることは言うまでもありません。
AI 技術は Google, Microsoft, Amazon を始めとした IT プラットフォーマ、研究機関
及び大学から毎週のように新たな手法が提案されており、また AI 技術を活用した新たなソリューションも次々とリリースされています。
本稿では米国先進 IT 企業を中心に、これらの企業から出願された AI 特許に記載された AI テクノロジー・ソリューションのポイントをわかりやすく解説致します。
1.概要
特許権者 Google
出願日2015 年 1 月 28 日

登録日2019 年 9 月 17 日

登録番号 US10417562
発明の名称

バッチノーマライゼーション層

562 特許は、ニューラルネットワークの学習を高速化し、また学習の際のオーバーフィッティング(過学習)を防止するためのバッチノーマライゼーション技術に関する。
2.特許内容の説明
図１に示すように、ニューラルネットワークシステム 100 は、ニューラル・ネットワーク・レイヤのシーケンス内のニューラル・ネットワーク・レイヤＡ104 とニューラル・
ネットワーク・レイヤＢ112 との間にバッチ正規化レイヤ 108 を含む。

1

バッチ正規化レイヤ 108 は、当該バッチ内のトレーニングサンプルに対してニュー
ラル・ネットワーク・レイヤＡ104 により生成されたレイヤＡ出力 106 を受信し、レイ
ヤＡ出力 106 を処理し、当該バッチ内のトレーニングサンプルごとにそれぞれのバッ
チ正規化レイヤ出力 110 を生成し、次いでバッチ正規化レイヤ出力 110 を入力としてニューラル・ネットワーク・レイヤＢ112 に提供する。
バッチ正規化レイヤ 108 は、当該バッチに対する１組の正規化統計値をレイヤＡ出
力 106 から計算し、レイヤＡ出力 106 を正規化して、当該バッチ内のトレーニングサ
ンプルごとにそれぞれの正規化された出力を生成する。また、当該出力を入力としてニューラル・ネットワーク・レイヤＢ112 に提供する前に当該正規化された出力の各々を変換する。
バッチ正規化レイヤは、次元ごとに、当該次元に対応するより低いレイヤ出力の成分
2

の平均および標準偏差を計算する。バッチ正規化レイヤは次いで、当該平均および標準偏差を用いて当該より低いレベル出力の各々の各成分を正規化して、バッチ内のトレー
ニング例の各々に対するそれぞれの正規化された出力を生成する。
バッチβからのｉ番目のより低いレイヤ出力のｋ番目の次元に対応する成分 xk,i に対して、正規化された出力はを満たす。μB は、バッチβ内のより低いレイヤ出力のｋ番目の次元に対応する成分の平均であり、σB は、バッチβ内のより低いレイヤ出力のｋ番目の次元に対応する成分の標準偏差である。当該標準偏差は (σB 2+ε)1/2 に等しい数的に安定な標準偏差であり、εは定数値であり、σB 2 は、バッチβ内のより低いレイヤ出力のｋ番目の次元に対応する成分の分散である。
これによりバッチ正規化レイヤを含むニューラルネットワークシステムは、バッチ正規化レイヤを含まないニューラルネットワークよりも迅速にトレーニングすることができる。例えば、１つまたは複数のバッチ正規化レイヤを当該ニューラルネットワーク
システムに含めることによって、トレーニング中に所与のレイヤの入力の配分が変化することにより生ずる問題を軽減することができる。これにより、より高い学習速度で学習することができ、どのようにパラメータが当該トレーニングプロセスで初期化される
かの影響を軽減することができる。
さらに、トレーニング中に、バッチ正規化レイヤは正規化器として機能し、トレーニ
ング中に使用すべき他の正規化技術、例えば、ドロップアウトの必要性を削減することができる。

3.クレーム562 特許のクレーム１は以下の通りである。
1.

1 つまたは複数のコンピューターによって実装されるニューラルネットワークシス3

テムにおいて、
ニューラルネットワークの第 1 のニューラルネットワーク層と第 2 のニューラルネ
ットワーク層との間にバッチ正規化層を実装するための命令を含み、該命令は一または複数のコンピューターに、以下の操作を実行させ、トレーニングデータの複数のバッチに対するニューラルネットワークのトレーニ
ング中、各バッチはそれぞれの複数のトレーニング例を含み、各バッチについて、バッチ内の複数のトレーニング例のそれぞれについて、それぞれの第 1 層出力を受信し、第 1 層の出力からバッチの複数の正規化統計を計算し、第 1 層出力の複数の成分の複数のサブセットのそれぞれについて、それぞれのサブセットにあるバッチ内の複数のトレーニング例のそれぞれに対する第 1 層出力の成分の平均を決定し、第１層出力の複数の成分の複数のサブセットのそれぞれについて、それぞれのサブセットにあるバッチ内の複数のトレーニング例のそれぞれに対する第１層出力の成分の標準偏差を決定し、バッチ内の各トレーニング例のそれぞれの正規化層出力を生成するために、正規化
統計を使用して各第 1 層出力の複数のコンポーネントのそれぞれを正規化し、各第１層出力および複数のサブセットのそれぞれについて、各サブセットの平均
および各サブセットの標準偏差を使用して、各サブセットにある第１層出力の成分を正規化し、正規化層出力から各トレーニング例のそれぞれのバッチ正規化層出力を生成し、バッチ正規化層の出力を 2 番目のニューラルネットワーク層への入力として提供する。

4. バッチノーマライゼーションに関する論文
Google の Sergey Ioffe 氏及び Christian Szegedy がバッチノーマライゼーションに関する論文1を公表している。ニューラルネットワークの学習においては、前段層のパラメータが変化するため、学習中に各層の入力分布も変化し複雑化することとなる。これ
により、学習率は低くなり、またパラメータの初期設定も難しくなる問題がある。
そのため上述したように正規化処理をネットワークの構成要素の一つとして組み込
み、各トレーニングミニバッチの正規化を行なうことで学習率の向上及びパラメータの初期化簡素化を可能とし、場合によってはドロップアウトまでも不要としたものである。
Sergey Ioffe, Christian Szegedy “Batch Normalization: Accelerating Deep
Network Training by Reducing Internal Covariate Shift”
1

4

実験によればバッチノーマライゼーションを採用した BN-x5 は、従来の Inceptionと比較して、14 倍も少ないステップで、72.2%の精度を達成した。

また ImageNet 分類では、バッチノーマライゼーションを用いることで Top-5 エラ
ー4.9%を達成している。

著者紹介
河野英仁
河野特許事務所、所長弁理士。立命館大学情報システム学博士前期課程修了、米国フラ
ンクリンピアースローセンター知的財産権法修士修了、中国清華大学法学院知的財産夏季セミナー修了、MIT(マサチューセッツ工科大学)コンピューター科学・AI 研究所 AI
コース修了。
AI 特許コンサルティングの他、米国・中国特許の権利化・侵害訴訟を専門としている。著書に「世界のソフトウエア特許(共著)」、「FinTech 特許入門」、「AI/IoT 特許入門
2.0」がある。
5

以上

6