質問: back propagation」** back propagationなしのforward的な『パラメーターの学習』は具体的にどうやって実現されるのでしょうか。 ご存知の方宜しくお願い致します。
回答: 回答がつかないみたいなので。 > > ディープビリーフネットワークの『パラメーターの学習』と『パラメーターの更新』とは別々の意味で、 > > > これはたぶん勘違いで、[Hinton+06]をざっと読むと、6章までがモデルをどのように構築するかの話をしていてここまではlearningという言葉だけがでていてtrainingという言葉がでてきません。 7章で実際MNISTに適用してみた、という話が始まってここからtrainingという言葉がでてきます。 理論の話をしているところでlearning(学習)、実装してMNISTデータセットで重みを獲得するところでtraining(訓練)と使い分けているだけなのでは? というのが数分ほど論文を眺めた印象です。 中間層の学習をどうやってるのか? というのはちゃんと論文を読んで数式も追わないと詳しいことはわかりませんが * 近似的な分布を導入して第1層を学習する(=どうやってか決めた近似分布を出力するように重みを更新する) * 1層目の学習を打ち切って1層目の重みを固定する。2層目が出力する近似分布を導入して2層目を学習する * 2層目の学習を打ち切って1層目と2層目の重みを固定する。3層目が出力する近似分布を導入して3層目を学習する * 全層を結合してデータを投入してバックプロパゲーションによって全層の重みを更新(ファインチューニング)する という手順かと思います。というかそう理解しています。 途中の層が出す近似的な分布をどう決めたのかは[Hinton+06]を読みこむか、しっかり数式を出している解説を読んで数式の意味を理解するかしないといけないでしょう。