コンテキスト・ミキシング
Pi(1) を i 番目のモデルが予測する次のビットが 1 である確率とする。このとき、ロジスティックミキシングによる最終的な予測確率 P(1) は以下のように計算される。
xi = stretch(Pi(1))
P(1) = squash(Σi wi xi)
ここで、
stretch(x) = ln(x / (1 − x))
squash(x) = 1 / (1 + exp(−x)) (stretch の逆演算).
それぞれの予測の後、データを符号化するコストを最小化するように重みが調整される。
wi ← wi + η xi (y − P(1))
ここで η は学習率 (典型的な値は 0.002 から 0.01)、y は予測ビット、(y − P(1)) は予測エラー。