クラフトへの社名変更.
アルトリアからの独立後.
キャドバリーの買収.
会社分割.
スポンサー.
ブランド.
論争.
トランス脂肪酸訴訟.
政治運動.
環境問題.
洒落男たち
勾配消失問題
勾配消失問題の発生.
解決手法.
部分モデルそれぞれは、前の階層に相当する部分モデルの出力から次の階層に供給すべき入力の圧縮表現を学習する。
関連するアプローチ.
類似する考え方として、教師なしの事前学習をニューラルネットワークに対して行い、一般的に有用なを学習するというものがある。その後、ラベル付きデータを用いて教師ありの誤差逆伝播法によりモデルをさらに学習する。
十分に学習された深層信念ネットワークは、隠れ層の最も深い層から入力層に向けて、各層で値を順にサンプリングしていくことにより、最終的にデータを再生成することができるため、生成モデルとして利用することができる。ヒントンは、自身の開発した深層信念ネットワークが高次元の構造化されたデータに対して、有用な特徴抽出器であると報告している。
LSTM.
こうしたスキップ接続により、通常は直後の層の入力にのみ用いられる出力が、より深い層の出力に加えられその先の層に入力されるため、情報が層を超えて伝播するようになることが期待される。スキップ接続は、深層ニューラルネットワークをうまく学習するための重要な要素になっている。
活性化関数の変更.
単調でない、飽和しない、振動する、といった性質を持つ活性化関数は、勾配消失問題を緩和するとともに、学習時間の削減にも寄与する。振動する活性化関数で、勾配をよく伝播し学習速度を向上させるものの例を、右の図に示している。
学習時の重みの初期値の設定.
バッチノーマライゼーション.
ニューラルネットワークの学習において、入力データを正規化することで学習が進みやすくなることが知られている。
バッチノーマライゼーションは深層学習の学習を安定化させることに寄与しており、その効果の一つとして勾配の消失や発散を防ぐことが報告されており、バッチノーマライゼーションを適用することで、層間の活性化関数の勾配が安定するという結果も実験的に得られている。
処理速度の速いハードウェアの活用.
その他.