深層学習 by 岡谷貴之さん > キーワード 

```txt:本
MPL (機械学習プロフェッショナルシリーズ)
深層学習 by 岡谷貴之さん
```

キーワードだけ。
索引に載っていないもの(あるいは気になったもの)。索引は重要。もっと増えて欲しい。

用語の索引は英語索引が一切ない。一方で、日本語用語登場時には英語表記も併記している。こういう場合、英語表記が正しくない場合もあり注意が必要かも。

- 勾配消失問題 (p2)
- Fukushimaらのネオコグニトロン (p2)
- LeCunら, 誤差逆伝播法 (p2)
- HintonらのDBN (p3)
- 制約ボルツマンマシン (p3)
  - restricted Boltzmann machine, RBM
- 自己符号化器 (auto-encoder) (p3)
- スパース符号化 (sparse coding) (p4)
- 哺乳類の脳の初期(低次)視覚野 (p4)
- ガボールウェーブレット状の基底 (p4)
- feedforward neural network (p7)
  - multi-layer perceptron
- 活性化関数 (activation function) (p8)
- ロジスティックシグモイド関数 (p10)
- シグモイド関数 (p10)
- 正規化線形関数 (rectified linear function) (p11)
- ReLU (Rectified Linear Unit) (p11)
- 回帰問題, 恒等写像 (p11)
- マックスアウト (maxout) (p12)
- 表2.1 問題の種別による出力層および誤差関数の違い (p15)
  - 回帰
  - 二値分割
  - 多クラス分類
- 訓練サンプル, 訓練データ (p15)
- 二乗誤差 (p16)
- E(w) (p16)
- 事後確率 p(d=1|x) (p16)
- 事後分布 p(d|x;w) (p17)
- 最尤推定 (maximum likelihood estimation) (p17)
- 尤度 (likelihood) (p17)
- 対数関数の単調性, 尤度の対数をとり (p17)
- 事後確率, 条件付き確率の定義 (p17)
- ソフトマックス関数 (softmax function) (p19)
   - 定義式
   - 総和がいつも1
- 点で特殊です (p19)
- d_n (p19)
- ソフトマックス関数, RBF, 中間層 (p19)
- 交差エントロピー (cross entropy) (p20)
- クラスC_kの事後確率, ソフトマックス関数の導出, log (p20)
- ソフトマックス関数, 一律, 加算 (p20)
- 出力層, 制約, 重み減衰, 強制的に0 (p21)
- 誤差関数 E(w) (p23)
- 回帰問題, 誤差関数 (p23)
- argmin (p24)
- 局所的な極小点w (p24)
- 勾配降下法 (gradient descent method) (p24)
- 勾配 (gradient), 定義式 (p24)
- 学習係数 (learning rate) (p24)
- 最小化手法, 2次微分を利用するニュートン法 (p25)
- ニュートン法やその派生方法 (準ニュートン法) (p25)
- バッチ学習 (batch learning) (p25)
- 確率的勾配降下法 (stochastic gradient descent) (p25)
- 確率的勾配降下法, いくつかの長所 (p26)
- 訓練データ, 水増しの影響 (p26)
- ミニバッチ (minibatch) (p26)
- N_tで正規化する係数を調整 (p27)
- ミニバッチのサイズを決める系統的なやり方 (p27)
- 訓練誤差 (training error) (p28)
- 汎化誤差 (generalization error) (p28)
- 早期終了 (early stopping), 早期打ち切り (p29)
- 重みの自由度を制約, 正則化 (regularization) (p29)
- 重み減衰 (weight decay) (p30)
- 重み上限 (p30)
- ドロップアウト (p30)
- 中間層, 入力層, ランダムに選出, それ以外を無効化 (p31)
- 過適合を避ける (p31)
- ドロップアウト, 畳込み層 (p32)
- RBM, DBM, ドロップアウト (p32)
- CIFAR-100 (p33)
- ドロップコネクト (p33)
- 確率的最大プーリング (p33)
- データの正規化 (normalization of data) (p33)
- データの標準化 (standardization of data) (p33)
- 水増し, データ拡張 (data augmentation) (p35)
- ガウス分布に従うランダムノイズを一律に加える (p35)
- 複数ネットの平均, モデル平均 (model averaging) (p35)
- 学習係数を決める, 定番といえる考え方, 2つ (p36)
- 学習係数, 重みの共有数の平方根に比例するように (p37)
- 誤差関数の勾配, g_t (p37)
- 勾配降下法, 収束性能, モメンタム (momentum) (p37)
- 誤差関数, 谷底, 高低差がない, 勾配降下法の効率 (p37)
- 重みの初期化, ガウス分布 (p38)
- バイアスの初期値 (p39)
- 誤差が大きいサンプル, 順に掲示 (p40)
- 二乗誤差, 微分 (p41)
- 微分の連鎖規則 (p42)
- 出力層の重みについての微分 (p43)
- 中間層の重みについての微分 (p44)
- 多層ネットワーク, 誤差勾配 (p45)
- デルタ (delta) (p46)
- 任意の中間層lについて成立 (p47)
- デルタは出力層から入力層の向き, (p47)
- w_{ji}^(l)に関する微分 (p47)
- 回帰、誤差関数、二乗誤差 (p49)
- 多クラス分類、出力層の活性化関数、ソフトマックス関数 (p49)
- W, X, Z (p50)
- 1_N, 1をN個並べたベクトル (p50)
- 表4.1 活性化関数の微分 (p51)
  - ロジスティクス関数
  - 双曲線正接関数
  - 正規化線形関数
- Y, D, Δ^(l) (p51)
- ☉、行列の成分ごとの積 (p51)
- 重み減衰、モメンタム、Wとbの更新量 (p52)
- 誤差関数Eの勾配の差分近似 (difference approximation) (p52)
- εを加算する、ε->0の極限をとる (p53)
- 計算機イプシロンをε_cとしたとき (p53)
- 順伝播は非線形計算、逆伝播は線形計算 (p53)
- 勾配消失問題 (vanishing gradient problem) (p54)
- 事前学習, 5.6説で説明する (p54)
- 自動符号化器 (p55)
- ディープネットの事前学習 (p55)
- y, xの符号(code) (p56)
- 符号化(encode), 復号化(decode) (p56)
    - **「復号化」は「復号」の方が正しいようです**
        - [「暗号化」の反対は「復号化」じゃなくて「復号」なんだよ](http://qiita.com/shojit/items/13ef9deebcae71a4f0cb)
- 恒等写像 (p57)
- xxxに制約がない, 誤差関数, 二乗誤差の総和 (p57)
- xxxとxxxのxxxをとるとき、誤差関数, 交差エントロピー (p57)
- Dx: 入力層のユニット数 (p57)
- Dy: 中間層のユニット数 (p57)
- 重み共有 (weight sharing, weight tying) (p58)
- (データを表す)特徴(feature) (p58)
- サンプルxの別な「表現」であるy (p58)
- 各入力に対する再現, 少しぼやけている (p59)
- WとW(tilde)をうまく選ぶと二者の積をIとできる (p61)
- 活性化関数が線形関数の場合、意味のある結果を得るには... (p61)
- 主成分分析 (principal component analysis, PCA) (p61)
- Φ: 訓練サンプル {x1, ...,xn}の共分散行列 (p61)
- データがある低次元部分空間内にのみ偏って存在する場合...(p61)
- 固有値の降順にΦのDy個の固有ベクトルを選び (p61)
- これを行ベクトルとして格納した行列U_{Dy} (p61)
- 最小化問題の階 (p61)
- 主成分分析つまりΦの固有ベクトルはxxxと解釈できる (p62)
- 一般に良い特徴とは (p62)
- 過完備な(overcomplete)表現 (p62)
- スパース正則化の考え方 (p62)
- 基本となる考え方...となるような制約を追加します (p63)
- 元の誤差関数E(w)にある正則化項を加えた... (p63)
- KL(rho || rho^_j)は後述のようにこれら2つの近さを与えます (p63)
- 2つのベルヌーイ分布のカルバック・ライブラー・ダイバージェンスを表します(図5.5) (p64)
- つまり... (p64)
- スパース正則化と同様の正則化, 3.5.2項で述べた重み減衰があります (p64)
- スパース正則化の場合はxxxに対する制約であり (p64)
- l層のユニットjのデルタは (p65)
- 修正されたデルタの計算式 (式5.4) (p65)
- 出力層は正則化の対象外 (p65)
- 平均活性度, 厳密に求めるには (p65)
- ミニバッチを使用して学習する場合 (p66)
- 数字を分解した「ストローク」のようなもの (p66)
- 自動符号化器は、入力されたサンプルを、中間層の各ユニットが「分担」して表現します (p66)
- 学習時のスパース正則化はxxxする働きがあるといえます (p66)
- 訓練データ, 偏り, 学習の妨げ (p67)
- 偏りを除去 (p67)
- 白色化 (whitening) (P68)
- 白色化の狙いは (p68)
- 共分散行列 ΦX (p68)
- `X=[X1・・・XN]` (p68)
- この共分散行列ΦXの(p,q)成分はxxxを示します (p68)
- 仮に成分ごとの分散を1に正規化した後でも... (p68)
- 逆に共分散行列が対角行列であれば... (p68)
- 式(5.5)を満たすPは (p68)
- E, 固有ベクトルを列ベクトルに持つ行列 (p68) 
- ΦX, 分解できます (p69)
- D, 対角行列 (p69)
- 共分散行列の固有ベクトルを利用することは (p69)
- PCA白色化 (p69)
- 対称行列 (p69)
- ゼロ位相白色化 (zero-phase whitening) (p69)
- ゼロ位相成分分析 (zero-phase component analysis, ZCA) (p69)
- 小さい値ε (p69)
- ZCA白色化 (p70)
- PCA白色化 (p70)
- xxxを強調するような働き, オンセンタ (on-center) (p70)
- 離散コサイン変換の基底 (p70)
- 特定の空間周波数・位相にチューニング (p71)
- 自然画像, 低い周波数ほど大きい (p71)
- 勾配消失問題, 事前学習 (p72)
- 複数の単層ネットワークに分割 (p72)
- 積層自己符号化器 (stacked autoencoder) (p73)
- 事前学習で得たパラメータを初期値に使うと (p74)
- 特徴抽出器 (p74)
- サポートベクトルマシン (p74)
- 事前学習がうまく機能する, なぜそうなるかは (p74)
- 多層自己符号化器 (deep autoencoder) (p74)
- 8章で述べる制約ボルツマンマシン (RBM) (p75)
- RBM, 確率的な生成モデル, 学習 (p75)
- デノイジング自己符号化器 (denoising autoencoder) (p75)
- 学習, 確率的な要素 (p75)
- 平均0, 分散σ^2のガウス分布に従うランダムノイズ (p76)
- ...この点が違いです (p76)
- これが名前の由来です @ 5.7.2 デノイジング自己符号化器 (p76)
- 訓練データの発生メカニズム, 反映 (p76)
   - 例, xが画像, 画像でよく発生するノイズ
- 加算的ノイズの他 (p76)
   - マスク状のノイズ
   - ソルト & ペッパーノイズ (p77)
- 畳込みニューラルネット (p79)
   - 畳込み層
   - プーリング層
- 畳込みネットの特徴 (p79)
- 全結合 (fully-connected) (p79)
- 生物の脳, 視覚野 (visual cortex) (p79)
   - (余談) Voyagerでのcortex stimulator
- 神経細胞の受容野 (receptive field), 局所性 (p79)
- 単純型細胞 (simple cell) (p79)
- 複雑型細胞 (complex cell) (p79)
- 図6.1 順伝播型ネットワークの層間結合の違い (p80)
   - (a) 全結合層
   - (b) 畳込み層とプーリング層の構造
- 受容野 (receptive field) (p80)
- 選択的振る舞い (p80)
- 単純型細胞, 位置選択性, 複雑型細胞 (p80)
- 図6.2 単純型細胞と複雑型細胞のモデル (p81)
- 中間層のユニット, 入力パターンの位置変化 (p81)
- 出力層のユニット, (入力パターンの)位置ずれ (p81)
- ネオコグニトロン (p81)
- 多層の畳込みネット, 画像認識の問題全般 (p82)
- 霊長類の脳の高次視覚野, 電気生理学的な実験 (p82)
- 畳込み層 (convolution layer) (p82)
- プーリング層 (pooling layer) (p82)
- 局所コントラスト正規化 (local contrast normalization, LCN)層, 挿入 (p82)
- 全結合層 (fully-connected layer) (p82)
- クラス分類, ソフトマックス層 (p83)
- W: 画像サイズ (W x W 画素) (p83)
- (i,j): 画素のインデックス (p83)
   - (i = 0, ..., W-1)
   - (j = 0, ..., W-1)
- フィルタ (p83)
- H: フィルタのサイズ (H x H) (p83)
- (p,q): フィルタ画素のインデックス (p83)
   - (p = 0, ..., H-1)
   - (q = 0, ..., H-1)
- h_pq : 画素値 (p83)
   - 任意の実数値を取る
- 画像の畳込み, 式(6.1) (p83)
- 本来の畳込み, (6.1)の次の式 (p83)
- ...実質的な違いはない (p83)
- 畳込みの働き (p84)
  - フィルタの濃淡パターン, 検出
- パディング, 画像からフィルタがはみだし (p85)
- 畳込み結果の画像のサイズ (p85)
- $\lfloor\cdot\rfloor$ : 小数点以下を切りsげて整数化 (p85)
- 外側に幅 $\lfloor H/2 \rfloor$
- ゼロパディング (zero-padding) (p85)
- ゼロパディング, 画像処理の観点, 0以外, いくつかのテクニック (p86)
- ストライド (stride) s (p86)
- 出力画像サイズ (p86)
- 畳込み層の出力側のユニット数が大きくなりすぎる (p87)
- ストライドを大きくすることは (p87)
- 多チャネルの画像とは (p87)
- K: チャネル数 (p87)
- K = 3 (入力), 中間層では K = (p87)
- マップ (map) : 中間層での出力 (p87)
- 画素ごとに全チャネルにわたって加算 (p88)
- 1つのフィルタからの出力, 1チャネル (p88)
- バイアス, フィルタごとに各ユニット共通 (p88)
- 活性化関数 (p88)
- W x W x K : 入力のサイズ (p89)
- W x W x M : 出力のサイズ (p89)
- ストライドsが2以上の場合 (p89)
- h_pqkm : 結合の重み, フィルタの係数 (p89)
- 重み共有 (weight sharing, weight tying) (p89)
- プーリング層, 複雑型細胞 (p89)
- H x H 正方領域 (p90)
- P_ij : xxxに含まれる画素の集合 (p90)
- 最大プーリング (max pooling), 式 (p90)
- 平均プーリング (average pooling), 式 (p90)
- Lpプーリング (Lp pooling), 式 (p90)
   - P = 1で平均プーリング
   - P = ∞で最大プーリング
- プーリング層, 学習によって変化するパラメータ (p90)
- 図6.8 プーリングの例 (p91)
- プーリング, 不明なこと (p91)
- 画像の濃淡, 正規化 (p92)
- 統計量を揃える (p92)
   - 正規化
   - 白色化
- 画素ごとの平均, 式 (p92)
   - (補足) 式は平均にはなっておらず、総和である
- 局所コントラスト正規化 (local contrast normalization) (p92)
- 減算正規化 (subtractive normalization) @ 局所コントラスト正規化 (p92)
- 除算正規化 (divisive normalization) @ 局所コントラスト正規化 (p93)
- $P_{ij}$ : H x H 正方領域 (p93)
- $\overline{x_{ij}}$ : x_{i+p,j+q}のHxH領域での総和
   - (補足) これも平均になっていなく、総和である
- 重み付き平均 : 重み$w_{pq}$を使った平均 (p93)
   - (補足) 重みにより正規化され平均になっている
- $w_{pq}$の総和 = 1の式 (p93) 
- $w_{pq}$の効果, 中央部, 周辺部 (p93)
- 除算正規化の効果, 分散 (p93)
- 減算正規化, 標準偏差 (p93)
- 画像のノイズ, 強調 (p93)
- 定数c, 閾値 (p93)
- 連続的に変化する (p94)
- 多いチャネル画像の正規化 (p95)
- チャネル間の相互作用 (p95)
- 共通の$\overline{x_{ij}}$ (p95)
- $h_{pqkm}$ : H x H x K のM個のフィルタの係数 (p96)
- 疎行列 (p96)
- $h$ : H x H x K x Mのベクトル
- $t_{ij}$ : $h$と内積をとるとl-1層のユニットiとl層のユニットでj間の重み$w_{ij}$を与えるベクトル
   - 高々xxxの成分がxxxのベクトルです (p96)
- $\delta^{(l)}$ : 層lのデルタ (p96)
- $\partial W$ : この層の重み$W$の勾配 (p96)
- $W$の多くの成分はもともとxxxであり (p96)
- $(\partial{h})_r$ : $\partial{h}$の成分r (p96)
- $\odot$ : 行列の成分ごとの積 (p97)
- プーリング層, 学習の対象となるパラメータ, 勾配 (p97)
- 下の層に伝えるデルタの逆伝播計算 (p97)
- xxxすることで、それらが入力層に均等に割り振られることになります (p97)
- ILSVRC (ImageNet Large Scale Visual Recognition Challenge), コンテスト (p97)
- fc : 全結合層 (p98)
- 図6.11 : 2012年のILSVRCで優勝した畳込みネットとほぼ同じ (p99)
- 学習で決定するパラメータ (p99)
- 表6.3 VGG : 2014年のILSVRCで2位になったオックスフォード大学の (p100)
- VGGの学習 (p100)
- VGGはxxxをまったく含みません (p101)
  - 性能向上に寄与しない
- 図6.21 > 5つの予測カテゴリ, ソフトマックス層 (p109)
- 再帰型ニューラルネット (RNN) (p111)
- 要素の並び (文脈) (p111)
- 長・短期記憶 (LSTM) (p111)
- コネクショニスト時系列分類法 (CTC) (p111)
- 系列データとは (p111)
- 系列データを扱う推定問題の例 (p111)
- 再帰型ニューラルネット (RNN)はxxxできます (p112)
- 音素 (phoneme) : 話者が各瞬間において発した (p112)
- RNNの種類 (p114)
   - Elmanネット
   - Jordanネット
   - 時間遅れネット (time delay ---)
   - エコー状態ネット (echo state ---)
   - など
- 「帰還路」を持つシンプルなもの (p114)
   - (補足) OPアンプの帰還路 (負帰還回路)
- 分類問題, ソフトマックス関数, 活性化関数 (p115)
- $y^1 ... y^T$ : 出力系列 (p115)
- $d^1 ... d^T$ : 目標となる系列 (p115)
- 誤差関数 (p115)
- 系列データを逆向き (p115)
- 双方向RNN (bidirectional RNN) (p115)
- $i, j, k$ : 入力層、中間層、出力層の各ユニットのインデックス (p116)
- $x^t$ : ネットワークへの入力
- $u^t$ : 中間層ユニットへの入力
- $z^t$ : 中間層ユニットからの出力
- $v^t$ : 出力層ユニットへの入力
- $y^t$ : 出力層ユニットからの出力
- $d^t$ : 目標出力
- $W^{(in)}$ : 入力層と中間層間の重み
- $W^{(out)}$ : 中間層と出力層間の重み
- 重みは時刻tとは関係なく (p116)
- バイアス, 常に1, 結合重み (p116)
- 重要なことはこの帰還が (p116)
- $z^0$ : t=1における初期値, 通常はxxxとします (p117)
- 各層の重みについて誤差の微分を計算する必要 (p117)
- RTRL法 (realtime recurrent learning) (p117)
- BPTT法 (backpropagation through time) (p117)
- 前者はxxx, 後者はxxx (p117)
- BPTT法, RNN, 順伝播型ネットワーク (p117)
- 式(7.6), 時刻tの中間層のユニットのデルタの計算に (p118)
- 各時刻における出力層のデルタ (p119)
- 誤差Eの各層の重みによる微分 (p119)
- 以上を要約します (p120)
   - 入力系列 x
   - 目標出力の系列 d
   - t
   - 出力の系列 y
   - デルタ
   - 未来の時刻
   - 誤差勾配
- 捉えることのできる文脈の長さ (p120)
   - 現時刻からどれだけ遠い過去の入力を...
- 実際にRNNで出力に反映できるのは (p120)
- この限界は、(p120)
- 長期にわたる記憶を実現できるよう, いくつか (p121)
- 長・短期記憶 (Long Short-Term Memory) (p121)
- メモリユニット1つの内部構造, 図7.7 (p121)
- メモリセル (p121)
- 周囲に5つのセル (p121)
- $s_j^t$ : 状態  (p121)
- 1時刻 (p121)
- 帰還路 (p121)
- 忘却ゲート (p121)
- $g_j^{F,t}$ : ゲートの値 (p121)
- リセット（忘却）されます (p121)
- 単純なケース, 忘却ゲート, 入力ゲート (p122)
- もしそれがうまくいけば (p122)
- $g_j^{F,t}$ : 忘却ゲートの値 (p123)
- $g_j^{I,t}$ : 入力ゲートの値 (p123)
- のぞき穴 (peephole) (p123)
- 出力ゲートのみxxxに注意します (p123)
- 帰還, 完結 (p124)
- 次時刻のメモリユニットへの総入力 (p124)
- デルタを逆伝播, この「ユニット」のデルタ (p125)
- 入力を受け取るユニットについて (p125)
- 隠れマルコフモデル (hidden Markov model) (以下 HMM) (p125)
- HMMは内部状態をxxxとして持ち、これがxxxに変化します (p126)
- 混合正規分布モデル (Gauss mixture model) (p126)
   - (補足) Gaussianが正しいのだろう
- コネクショニスト時系列分類法 (p126)
   - connectionist temporal classification (以下CTC)
- CTCはxxxし、xxxを扱えるようにします (p126)
- 音声を扱う問題での音素のようだ (p127)
- 系列$1$とは (p127)
   - (補足) 1のベクトル表記のようだ
- 写像 $1 = \beta(\pi)$ (p127)
   - (補足)ベータの式がどうもすっきりしない
      - y = sin(x), x = arcsin(y)というような表記をしている
- 要素, パス (p127)
- CTCの中核にあるアイデア (p127)
- xxxなりますが、前進・後退法 (forward backward method) (p127)
- $\pi_{1:t}$ : tに至る前半のパス
- $\pi_{t:T}$ : t以降の後半のパス
- (s,t)を通過するすべての前半パス (p128) 
- $p(\pi_{t:T})$ : (s,t)を通過するすべての後半パスに関する確率 (p129)
- $\beta_{s,t}$ : $p(\pi_{t:T})$の和 (p129)
- xxxなどの工夫 (p129)
- 最尤推定によってRNNのパラメータを決定すべく (p129)
- 誤差関数として (p129)
- $d'$ : $l'$同様xxx (p130)
- $\partial{p(d|X)}/\partial{y_k^t}$ : 目的の微分 (p130)
- $\hat{l}$ (p130)
- $\hat{\pi}$ (p130)
- ボルツマンマシンは (p131)
- ボルツマンマシン, 特徴, 一般にxxx利用 (p131)
- ボルツマンマシン, 学習 (p131)
- 偏り, 表現 (p131)
- $p_g(x)$: ある未知の確率分布 (p131)
- 生成 (generate) (p131)
- $p(x|\theta)$ : 分布を表す適当な関数 (p131)
- $\theta$ : 自由なパラメータ (p131)
- パラメータ$\theta$の求め方 (p132)
- 最尤推定 (maximum likelihood estimation) (p132)
- 尤度関数 (likelihood function) (p132)
- $L(\theta)$ (p132)
- ボルツマンマシン, 各ユニットはxxxの値を (p132)
- 二値ユニット (binary unit) (p133)
- ボルツマンマシンとは (p133)
- $p(x|\theta) = $ : エネルギー関数 (p133)
   - (補足) グリーシャ, 100年の難問
- $\Phi(x,\theta) = $ (p133)
- $\xi$ : グラフにおけるユニット間の結合(エッジ) (p133)
- ユニット間結合, 向き (p133)
- 確率分布の条件, 規格化定数 (p133)
- $Z(\theta)$ : 分配関数 (partition function) (p133)
- $\sum_x$ (p133)
- ボルツマン分布 (Boltzmann distribution) (p134)
   - https://en.wikipedia.org/wiki/Boltzmann_distribution
   - ギブス分布 (Gibbs distribution) 
- 分布の具体的な形, $\Phi(x,\theta)$ (p134)
- 指数関数の単調性, 生起確率 (p134) 
- $p(x|\theta)$ モデル分布 (p134)
- $p_g(x)$ : データの真の分布 (p134)
- $L(\theta)$の代わりにxxx 同じことです (p134)
- 対数尤度関数 (log-likelihood function) (p134)
- $logL(\theta) = $ (p134)
- $E_\theta[・]$ : 期待値 (p135)
- 全パラメータについてxxxになるような$\theta$が (p135)
- $q(x) = $ : 経験分布 (empirical distribution) (p135)
- $\delta(x,y) = $ (p135)
- 期待値の書き直し (p135)
- $<・>_{data}$ : $q(x)$に関する期待値 (p135)
- $<・>_{model}$ : $p(x|\theta)$に関する期待値 (p135)
- 上記を用いた式 (p135)
- xxxを計算するのは容易ではありません (p135)
- $2^M$通りの組合せ (p135)
- xxxを直接計算するのは (p135)
- 局所マルコフ性 (p136)
- ギブスサンプリング (Gibbs sampling) (p136)
- $x_{-i}$ : ユニットi以外の全ユニットの変数を並べたベクトル (p136)
- $p(x_i|x_{-i},\theta)$ : 条件付き分布 (p136)
- $p(x_i|x_{-i},\theta) = $ (p136)
- $N_i$ : ユニットiと結合を持つユニットの集合 (p136)
- $p(x_i|(x_j|j\in N_i) ,\theta)$ : $N_i$のユニットのみの状態を指定した条件付き分布
   - (補足) mathJaxの問題か内側の"{"が表示できなかったので"("で代用した
- xxxは簡単です (p136)
- ギブスサンプリングはxxx方法です (p136)
- なおt巡目(t=1,2,...)の$x_i^(t)$は xxx からサンプルすることとします(p137)
- それ以外の値はxxxをセットします (p137)
- ギブスサンプリングは、精度を高めるには (p137)
- 図8.3 グラフが直接にはデータと関係しないユニットを持つ場合 (p137)
- $v$ : 可視変数 (visible variable) (p138)
- $h$ : 隠れ変数 (hidden variable) (p138)
- xxxと同様に定義されます (p138)
- エネルギー関数 $\Phi(v, h, \Theta)=$ (p138)
- 隠れ変数を持たないものと比べ (p138)
- $v = x$なので, $v_n$ (p139)
   - (補足) この定義は同じページで$v$に戻されるので読者には混乱を誘発する
   - 「簡単のため$v_n$を$v$で置き換えました」
- $p(v|\Theta)$ : xxxに相当します (p139)
- 尤度関数 $L(\Theta) = $ (p139)
- xxxを行う必要があり、計算はいっそう難しいものに (p140)
- 制約ボルツマンマシン (restricted Boltzmann machine)はxxxをいいます (p140)
- 以下RBM (p140)
- $\Phi(v, h, \Theta) =$ : RBMのエネルギー関数 (p140)
- {$a_i$} : 可視変数と同数のバイアス (p141)
- {$b_j$} : 隠れ変数と同数のバイアス (p141)
- {$w_{ij}$} : 両者の組合せの数だけある重み (p141)
- 全変数の確率分布は (p141)
- RBM, 性質 (p141)
- RBMではxxxに定まります (p141)
- この変数の分布はベルヌーイ分布 (Bernoulli distribution)です (p142)
- ベルヌーイRBM (Bernoulli RBM) (p142)
- 自己符号化器 (p142)
- RBMはxxxにも使われている (p142)
- データ {$V_n|n=1,...,N$}からRBMのパラメータ{$a_i$}{$b_j$}{$w_{ij}$}を定める方法 (p143)
- RBMの場合xxxは苦労なく計算できますが (p143)
- xxx,簡単には計算できません (p143)
- ブロックサンプリング, 効率化 (p144)
- 一様乱数を使った同じ手順により (p144)
- xxxとしても構いません (p144)
- xxxが有効です (p145)
- xxxと見ることができます (p145)
- xxxができます (p145)
- 確率的勾配降下法, RBM, 重み減衰 (p146)
- 典型的な$\mu$の値 (p146)
- 持続的CD (persistent CD) (p147)
- $CD_1$, $CD_{10}$, 精度 (p148)
- ガウシアンユニット (Gaussian unit) (p148)
- 特にxxxに使うことで (p148)
- ガウシアン・ベルヌーイRBM (Gaussian-Bernoulli RBM) (p148)
- エネルギー関数 (p148)
- 可視変数$v_i$は平均xxx, 分散xxxのガウス分布に従います (p149)
- が一般的です (p149)
- 二項ユニット (binomial unit) (p149)
- $Kp$ : その状態の期待値 (p150)
- $Kp(1-p)$ : 分散 (p150)
- 正規化線形ユニット (rectified linear unit), ReLU (p150)
- このユニットの状態はxxxと見なせます (p150)
- このユニットの状態は近似的に (p150)
- ディープビリーフネットワーク (deep belief network) (以下 DBN) (p151)
- $l$ : 可視層から上位へ向けて層の番号をl=0,1,...Lとし (p151)
- DBN, RBMのように簡単に計算することはできません (p152)
- 隣接層間での条件付き分布, 近似 (p152)
- ランダムに重みを初期化した層 (p152)
- ディープボルツマンマシン (deep Boltzmann machine) (p153)
- 有向エッジ、無エッジ (p153)
- と見なせます (p153)
- 平均場近似 (mean field approximation) (p153)
   - (補足) near field approximation
- 条件付き分布 $p(h^{(1)}, h^{(2)}|v)$, 近似 (p153)
- 平均場近似は (p154)
- 最適化計算を通じて (p154)
- 近さ、カルバック・ライブラー・ダイバージェンス (p154)
- DBMの学習, 事前学習, 調整 (p154)
- 文献 `[60]` (p154)
- 中間層$l$の条件付分布は (p154)
- $<z_iz_j>_{data}$の計算に必要な条件付き分布 (p155)
- という考えです (p155)
- 性能比較, MNIST, 表8.1 (p156)
   - ランダムに重み初期化
   - カーネルSVM
   - DBNで重みを初期化
   - DBMで重みを初期化 + 図8.8の入力拡張 (p156)
       - (補足) DBMはDBNの誤植だろう

以上。