機械学習
階層的な非線形変換からなるネットワーク。一般に誤差逆伝播法で学習される。非線形性による高い表現能力をもち、分類・回帰・生成など様々なタスクに用いられる。
ここで
( 1 ) = E ( x , y ) ∼ p [ − F ̄ ( x ) ⋅ y + F ̄ ( x ) ⋅ y ̄ ( x ) + y ̄ ( x ) ⋅ y − | | y ̄ ( x ) | | 2 ] = E ( x , y ) ∼ p [ ( F ̄ ( x ) − y ̄ ( x ) ) ( y ̄ ( x ) − y ) ] = E x [ ( F ̄ ( x ) − y ̄ ( x ) ) ( y ̄ ( x ) − E y ∼ p | x [ y ] ) ] = 0 {\displaystyle {\begin{aligned}(1)&=E_{(\mathbf {x} ,\mathbf {y} )\sim p}[-{\bar {F}}(\mathbf {x} )\cdot \mathbf {y} +{\bar {F}}(\mathbf {x} )\cdot {\bar {\mathbf {y} }}(\mathbf {x} )+{\bar {\mathbf {y} }}(\mathbf {x} )\cdot \mathbf {y} -||{\bar {\mathbf {y} }}(\mathbf {x} )||^{2}]\\&=E_{(\mathbf {x} ,\mathbf {y} )\sim p}[({\bar {F}}(\mathbf {x} )-{\bar {\mathbf {y} }}(\mathbf {x} ))({\bar {\mathbf {y} }}(\mathbf {x} )-\mathbf {y} )]\\&=E_{\mathbf {x} }[({\bar {F}}(\mathbf {x} )-{\bar {\mathbf {y} }}(\mathbf {x} ))({\bar {\mathbf {y} }}(\mathbf {x} )-E_{\mathbf {y} \sim p|_{\mathbf {x} }}[\mathbf {y} ])]\\&=0\end{aligned}}}
上では回帰の場合について述べたが、確信度を出力する分類でも同様である。
クラスタリングは、観測された例をクラスタと呼ばれる部分集合に振り分けるもので、振り分けは事前に指示された基準に従って行う。クラスタリングはデータの構造についての仮説(基準)の立て方によって結果が異なる。仮説は「類似尺度」で定義され、「内部コンパクト性」(同一クラスタ内のメンバー間の類似性)や異なるクラスタ間の距離によって評価される。「推定密度」や「グラフ接続性」に基づく技法もある。クラスタリングは教師なし学習技法であり、統計的データ解析でよく使われる。