一部有 7 粒細胞嘅玻茲曼機；呢部玻茲曼機有 3 粒隱藏細胞（柞 {\displaystyle h\_{i}}）同 4 粒隱藏細胞（柞 {\displaystyle v\_{i}}）。
**玻茲曼機**（粵拼：bo1 zi1 maan6 gei1；英文：**Boltzmann machine**）係一種隨機性遞迴神經網絡（stochastic recurrent neural network）。一部玻茲曼機啲細胞之間有對稱性連繫，而每一粒細胞都會用帶有隨機性嘅演算法決定係咪要啟動。即係話：

{\displaystyle z\_{i}=b\_{i}+\sum \_{j}s\_{j}w\_{ij}} ；{\displaystyle [1]}
{\displaystyle \Pr(s\_{i}=1)={\frac {1}{1+e^{-z\_{i}}}}}；{\displaystyle [2]}
當中 {\displaystyle z\_{i}} 係第 {\displaystyle i} 粒神經細胞收到嘅輸入值；{\displaystyle b\_{i}} 係*偏向*（bias；細胞 {\displaystyle i} 本身嘅啟動偏向）；{\displaystyle s\_{j}} 係第啲細胞當中第 {\displaystyle j} 粒嘅狀態（數值只可以係 1 或者 0），而 {\displaystyle w\_{ij}} 係由細胞 {\displaystyle j} 去細胞 {\displaystyle i} 嘅權重。{\displaystyle \Pr(s\_{i}=1)} 係指「{\displaystyle s\_{i}}（細胞 {\displaystyle i} 嘅狀態）等如 1 嘅機會率」，而根據 {\displaystyle [2]}，{\displaystyle \Pr(s\_{i}=1)} 數值取決於 {\displaystyle z\_{i}} 。

有唔少理論性嘅認知科學（cognitive science）研究者都對玻茲曼機嘅行為同特性感興趣：玻茲曼機嘅訓練演算法通常會跟從海伯定律（Hebb's rule）－簡單講就係邊對細胞愈傾向同時啟動，兩者之間嘅權重就會愈強，而且玻茲曼機並唔似得一般人工神經網絡噉吓吓都分層；呢啲特性令到玻茲曼機（同一般嘅人工神經網絡比）更加似生物神經網絡，所以有唔少認知科學會用玻茲曼機嚟模擬心靈相關嘅現象（睇埋聯結主義），進行理論性嘅研究。

另一方面，玻茲曼機都有實用價值：雖然啲人對玻茲曼機嘅興趣好多時集中於玻茲曼機嘅理論特性，但機械學習（machine learning）上嘅研究說明咗，只要有適當嘅訓練演算法，玻茲曼機亦都有可以有足夠嘅效率，有可能攞嚟做某啲實際嘅應用。

結構
--

玻茲曼機嘅構造可以用四條式總括：

{\displaystyle z\_{i}=b\_{i}+\sum \_{j}s\_{j}w\_{ij}}；{\displaystyle [1]}
－是但搵部玻茲曼機入面嘅一粒細胞 {\displaystyle i}，佢嘅輸入值（{\displaystyle z\_{i}}）由佢嘅偏向值（{\displaystyle b\_{i}}；可以喺初始化嗰陣設做隨機數值）以及第啲細胞（{\displaystyle s\_{j}w\_{ij}}）嘅狀態話事。

{\displaystyle \Pr(s\_{i}=1)={\frac {1}{1+e^{-z\_{i}}}}}；{\displaystyle [2]}
－嗰粒細胞跟住落嚟狀態變成「啟動」（{\displaystyle s\_{i}} 變成 1）嘅機會率（{\displaystyle \Pr(s\_{i}=1)}）係個輸入值（{\displaystyle z\_{i}}）嘅函數。

{\displaystyle E(\mathbf {v} )=-\sum \_{i}{s\_{i}}^{\mathbf {v} }b\_{i}-\sum \_{i<j}{s\_{i}}^{\mathbf {v} }{s\_{j}}^{\mathbf {v} }w\_{ij}}；{\displaystyle [3]}
－設 {\displaystyle \mathbf {v} } 做代表嗰個網絡喺某一時間點嘅狀態嘅向量，而 {\displaystyle {s\_{i}}^{\mathbf {v} }} 係指細胞 {\displaystyle i} 喺 {\displaystyle \mathbf {v} } 之下嘅狀態。{\displaystyle \mathbf {v} } 所具有嘅「能量」（energy；{\displaystyle E(\mathbf {v} )}）就等如條式右手邊嗰個數。

{\displaystyle \Pr(\mathbf {v} )=e^{-E(\mathbf {v} )}/\sum \_{\mathbf {u} }e^{-E(\mathbf {u} )}}；{\displaystyle [4]}
－如果個網絡啲細胞係噉以任何次序更新，而次序唔受佢哋嘅總輸入影響，個網絡最終會達致一個*平衡情況*（equilibrium；可以睇埋玻茲曼分佈）；喺呢個情況當中，任何一個可能嘅狀態向量 {\displaystyle \mathbf {v} }，{\displaystyle \mathbf {v} } 出現嘅機會率由「{\displaystyle \mathbf {v} } 嘅能量」同「所有其他可能狀態向量（{\displaystyle \mathbf {u} }）嘅能量嘅總和」呢兩個數之間嘅比例話事。

註釋
--

1. ↑  {\displaystyle \sum \_{j}s\_{j}w\_{ij}} 係指「所有 {\displaystyle s\_{j}w\_{ij}} 加埋」。
2. ↑  即係 {\displaystyle \mathbf {v} } 包含咗若干個數值，每個數值描述有關個網絡嘅一個變數，所以 {\displaystyle \mathbf {v} } 就表達咗個網絡嘅狀態。

睇埋
--

* 人工神經網絡
* 遞迴神經網絡
* 受限玻茲曼機
* 隨機神經網絡
* 海伯理論
* 玻茲曼分佈

參考文獻
----

* Hinton, G. E.; Sejnowski, T. J. (1986). D. E. Rumelhart; J. L. McClelland (eds.). "Learning and Relearning in Boltzmann Machines" (PDF). *Parallel Distributed Processing: Explorations in the Microstructure of Cognition*. Volume 1: Foundations: 282–317. Archived from the original (PDF) on 2010-07-05.
* Hinton, G. E. (2002). "Training Products of Experts by Minimizing Contrastive Divergence" (PDF). *Neural Computation*. 14 (8): 1771–1800. CiteSeerX 10.1.1.35.8613. doi:10.1162/089976602760128018. PMID 12180402.
* Hinton, G. E.; Osindero, S.; Teh, Y. (2006). "A fast learning algorithm for deep belief nets" (PDF). *Neural Computation*. 18 (7): 1527–1554. CiteSeerX 10.1.1.76.1541. doi:10.1162/neco.2006.18.7.1527. PMID 16764513.

攷
-

1. 1 2 3  Ackley, David H; Hinton Geoffrey E; Sejnowski, Terrence J (1985), "A learning algorithm for Boltzmann machines" (PDF), *Cognitive Science*, 9 (1): 147–169,
2. ↑  Boltzmann Machines (PDF).
3. 1 2 3  Boltzmann machine. *Scholarpedia*.
4. ↑  Aarts, E. H. & Korst, J. H. (1989). Boltzmann machines for travelling salesman problems[*失咗效嘅鏈*] (PDF). *European Journal of Operational Research*, 39(1), 79-95.
5. ↑  Hjelm, R. D. Calhoun, V. D. Salakhutdinov, R. Allen, E. A. Adali, T. & Plis, S. M. (2014). Restricted Boltzmann machines for neuroimaging: an application in identifying intrinsic networks. *NeuroImage*, 96, 245-260.
6. ↑  Sui, C. Bennamoun, M. & Togneri, R. (2015). Listening with your eyes: Towards a practical visual speech recognition system using deep boltzmann machines (PDF). In *Proceedings of the IEEE International Conference on Computer Vision* (pp. 154-162).

拎
-

* Scholarpedia article by Hinton about Boltzmann machines.
* Talk at Google by Geoffrey Hinton.

| * 睇
* 傾
* 改
機械學習同數據探勘 |
| --- |
| 可以睇埋機械學習詞彙同數據科學 |
| 基本概念 | 人工智能 · 學習 · 運算學習論 · 線性可分性 · 事前數據處理 · 特徵提取 · 知識表示 |  |
| 數學模型 | 

|  |
| --- |
| 迴歸模型 · 決策樹（蒙地卡羅樹搜尋） · 貝葉斯網絡 · 支援向量機 · 關聯規則學習 |
| 神經網絡 | 

|  |  |
| --- | --- |
| 網絡基礎 | 人工神經細胞 · 前饋網絡（感知機 · 多層感知機） |
| 遞迴網絡 | 霍菲特網絡 · 玻茲曼機 · 長短期記憶 · 神經圖靈機 |
| 深度學習 | 卷積網絡 · 受限玻茲曼機（深度信念網絡） · 深度強化學習 |
| 網絡概念 | 反向傳播算法 · 關注機制 · 生成對抗網絡 · 基於流嘅生成模型 |
| 自編碼器 · 脈衝神經網絡 · 自組織對映 · 網絡種類一覽 |

 |

 |
| 最佳化 | 誤差函數 · 爬山演算法 · 梯度下降法 · 全局最佳化 · 正則化 · 變分推斷 · 資訊最大化 |
| 學習範式 | 監督式學習 · 非監督式學習 · 強化學習 · 遺傳演算法 · 主動機械學習 |
| 模型評估 | 自助抽樣法 · 交叉驗證 · 訓練曲線 · 適合度函數 · 過適 |
| 主要應用 | 統計分類（線性分類機） · 表徵學習 · 降維（特徵選擇） · 聚類分析 · 異常檢測 |
| 拉雜相關 | 認知科學 · 電腦科學 · 統計學 · 資訊理論 · 資訊系統、資訊過多同大數據 |
| 機械學習類 · 數據探勘類 |