最大似然估計

最大似然估計係廿一世紀初統計學上最常用估計模型參數數值嘅做法。最大似然估計會
先搵出一個機會率函數，呢個函數會反映「觀察到手上數據嘅數值」同「模型參數」之間嘅關係，
而最大似然估計演算法嘅目標係要搵出  嘅數值應該要係幾多先可以令 嘅數值有咁大得咁大。

可以表達成：

當中  係指「第 1 個個案喺變數  上嘅值係  咁多」嘅機會率，而  就係樣本大細。

梯度下降法 

假想而家有個演算法，初始化嗰陣個演算法將  設做隨機嘅數值，然後部電腦可以計「如果  係噉嘅樣，得到  呢柞數值」嘅機會率，跟住個演算用梯度下降法，即係考慮  同  之間嘅導數，嚟睇吓  向邊個方向變最有可能會提升 ，跟住就郁手改變  值，再計個新嘅  值出嚟，重複，如是者慢慢噉達到最大嘅  值。

簡單講，梯度下降法呢個過程就好似爬山噉：想像下圖嘅 X 軸同 Y 軸係個模型嘅兩個參數，而 Z 軸就代表 ，梯度下降法會隨機噉將初始數值擺喺是但一點，然後
睇吓自己身處嗰點周圍每個方向有幾斜，
揀最能夠令自己向上爬嗰一個方向，移去嗰個方向，
重複，直至某啲條件達到為止。

最佳化

攷 

統計學