ボルツマンマシン

ボルツマン・マシン（）は、1985年にジェフリー・ヒントンとによって開発されたの一種である。
概要.
ボルツマンマシンは、統計的な変動を用いたホップフィールド・ネットワークの一種と見なすことができる。これらはニューラル ネットワークの内部についてを学ぶことができる最初のニューラル ネットワークの 一つで、（十分な時間を与えられれば） 難しい組合せに関する問題を解くことができる。ただしボルツマン・マシンには後述される事柄を含む数々の問題があり、接続制限をもたないボルツマン・マシンは機械学習や推論のためには実用的であるとは証明されていない。しかしながらボルツマン・マシンは、その局所性とその学習アルゴリズムのヘッブ的性質またその並列処理やその動的力学と単純な物理的プロセスとの類似のため、理論として魅力的である。ボルツマンマシンは確率密度関数自体を計算する。
ボルツマン・マシンは、それらに使用されているサンプリング関数（統計力学においてのボルツマン分布）にちなんで名づけられた。
構造.
ボルツマン・マシンはホップフィールド・ネットと同様、結び付けられたユニットたちのネットワークでありそのネットワークの持つエネルギーが定義される。それらのユニットもまたホップフィールド・ネット同様1もしくは0（活発もしくは不活発）の出力値をとるが、ホップフィールド・ネットとは違い、不規則過程によってその値は決まる。ネットワーク全体のエネルギー formula_1 における意味合いは、ホップフィールド・ネットのものと同様である。グローバルエネルギーの定義はホップフィールド・ネットと同様、以下のようになる：
コネクションについては2つの制約がある：
したがって重みは対角成分に0が並ぶ対称行列 formula_16 によって与えられる。
一つのユニットが0または1の値をとることによりもたらされるグローバルエネルギーの差 formula_17 は： 
で与えられ、これは二つのエネルギー状態の差： 
である。これにそれぞれのシステムの状態におけるエネルギーとボルツマン因子より得られた相関的な確率を代入すると： 
ここでボルツマン因子 formula_21 は温度に吸収されるとする。各項を移項し、確率の合計が1でなければならないとして： 
となる。定数 formula_28 は各システムの温度であるとし、formula_4番目ユニットが1である確率 formula_30 は：
となる。このような関係がボルツマン・マシンにおける確率式らにみられる理論関数の基礎となっている。
問題.
ボルツマン・マシンは、理論的にはむしろ一般的な計算媒体である。ボルツマン・マシンは不規則過程より平衡統計を算出し、そこにみられる分布を理論的にモデル化し、そのモデルを使ってある全体像の一部分を完成させることができる。だが、ボルツマン・マシンの実用化においては、マシンの規模がある程度まで拡大されると学習が正確に行えなくなるという深刻な問題がある。これにはいくつかの原因があり、最も重要なものとして下記のものがある：
制限ボルツマン・マシン.
一般的なボルツマン・マシンの学習はnの指数時間かかるため非実用的であるが、同一層間の接続を認めない「 (RBM)」では効率的な計算ができるコントラスティブ・ダイバージェンス（Contrastive Divergence）法が提案されている。制限ボルツマンマシンでは隠れ変数を定義しているが、可視変数の周辺分布を近似することを目的としているため、意味合いとしてはほとんど変わらない。
RBMを1段分学習させた後、その不可視ユニットの活性（ユニットの値に相当）を，より高階層のRBMの学習データとみなす。このRBMを重ねる学習方法は、多階層になっている不可視ユニットを効率的に学習させることができる．この方法は、深層学習のための一般的な方法の一つとなっている。この方式では一つの新しい階層が加えられることで全体としての生成モデルが改善されていく。また拡張されたボルツマン・マシンの型として、バイナリ値だけでなく実数を使うことのできるRBMがある。
RBMの実用例の一つとしては、音声認識ソフトウェアの性能の向上があげられる。