機械学習
決定木を予測モデル(英語版)として使用した学習であり、アイテムについての観測をそのアイテムの目標値についての結論とマッピングする。具体例としてID3やRandom forestがある。
は以下を満たす:
E ( x , y ) ∼ p , D [ | | F ^ D ( x ) − y | | 2 ] = V a r ( F ^ ) + B i a s 2 ( F ^ ) + N o i s e ( p ) {\displaystyle E_{(\mathbf {x} ,\mathbf {y} )\sim p,D}[||{\hat {F}}_{D}(\mathbf {x} )-\mathbf {y} ||^{2}]={\mathsf {Var}}({\hat {F}})+{\mathsf {Bias}}^{2}({\hat {F}})+{\mathsf {Noise}}(p)}
ここで、
V a r ( F ^ ) = E x ∼ p | x , D ( | | F ^ D ( x ) − F ̄ ( x ) | | 2 ) {\displaystyle {\mathsf {Var}}({\hat {F}})=E_{\mathbf {x} \sim p|_{\mathbf {x} },D}(||{\hat {F}}_{D}(\mathbf {x} )-{\bar {F}}(\mathbf {x} )||^{2})}
各種機械学習アルゴリズムを備えたソフトウェアスイートとして、SAS・RapidMiner・LIONsolver・KNIME・Weka・ODM・Shogun toolbox・Orange・Apache Mahout・scikit-learn・mlpy・MCMLL・OpenCV・XGBoost・Jubatus などがある。
データロボット社 による複数の手法を並列計算させて比較する方法がある。
そこで一旦ソフトマックス変換
s o f t m a x : R k → [ 0 , 1 ] k , ( u 1 , ... , u k ) ↦ 1 ∑ j = 1 k e u j ( e u 1 , ... , e u k ) {\displaystyle \mathrm {softmax} ~:~\mathbb {R} ^{k}\to [0,1]^{k},(u_{1},\ldots ,u_{k})\mapsto {1 \over \sum _{j=1}^{k}e^{u_{j}}}(e^{u_{1}},\ldots ,e^{u_{k}})}
をかける事でこの問題を解決する。
逆に確信度を使った分類タスクを回帰タスクに流用する事もでき、この場合は上と同様の理由でソフトマックス変換の逆変換をかける必要がある。