最速下降法 (綠色) 與牛頓法 (紅色) 在求最小值問題上的比較 (帶有步長). 可見牛頓法根據曲率選擇了一條「捷徑」. 

牛頓法是微積分學中, 通過疊代以求解可微函數f的零點的一種算法 (即求x使得f(x)=0). 而在最佳化中, 牛頓法通常被運用於求解一個二次可微函數f的一階導數f^{\prime }的零點 (即求x使得{\displaystyle f^{\prime }(x)=0}), 同時也是f的駐點. 因此從另一個角度而言，**應用於最佳化的牛頓法**是搜索函數f(x)的最小值或最大值的一種算法。

  

一維問題的牛頓法主要步驟如下:
取一個點x\_{0}為**初值**, 依如下公式**疊代**:

{\displaystyle x\_{n+1}=x\_{n}-{\frac {f^{\prime }(x\_{n})}{f^{\prime \prime }(x\_{n})}},}
直至滿足一定條件 (如{\displaystyle f^{\prime }(x\_{n})=0}或{\displaystyle x\_{n+1}-x\_{n}<\varepsilon }, 其中\varepsilon 為一個給定的足夠小的常數) 後, 算法終止。

方法描述
----

在一維問題中, 牛頓法將構造一個以x\_{0}為首項, 收斂到x^{\*}的數列\{x\_{n}\}, 其中x^{\*}使得{\displaystyle f^{\prime }(x^{\*})=0}成立. 

f(x)在{\displaystyle x=x\_{n}}處的二階泰勒展開式{\displaystyle f\_{T}(x)}為:

{\displaystyle f\_{T}(x)=f\_{T}(x\_{n}+\Delta x)\approx f(x\_{n})+f^{\prime }(x\_{n})\Delta x+{\frac {1}{2}}f^{\prime \prime }(x\_{n})\Delta x^{2}.}
我們希望找到\Delta x使{\displaystyle x\_{n}+\Delta x}為{\displaystyle f\_{T}(x)}的一個駐點。則將上式對\Delta x進行求導:

{\displaystyle 0={\frac {\text{d}}{{\text{d}}\Delta x}}(f(x\_{n})+f^{\prime }(x\_{n})\Delta x+{\frac {1}{2}}f^{\prime \prime }(x\_{n})\Delta x^{2})=f^{\prime }(x\_{n})+f^{\prime \prime }(x\_{n})\Delta x.}
上述方程的解{\displaystyle \Delta x=-{\frac {f^{\prime }(x\_{n})}{f^{\prime \prime }(x\_{n})}}}滿足

{\displaystyle x\_{n+1}=x\_{n}+\Delta x=x\_{n}-{\frac {f^{\prime }(x\_{n})}{f^{\prime \prime }(x\_{n})}}}
收斂於{\displaystyle f\_{T}(x)}的駐點x^{\*}.

幾何意義
----

牛頓法的幾何意義為: 在每一次疊代中，均以一個二次函數去逼近f(x). 具體而言: 
在一維問題中，已知x\_n, {\displaystyle f(x\_{n})}, {\displaystyle f^{\prime }(x\_{n})}及{\displaystyle f^{\prime \prime }(x\_{n})}, 設二次函數表逹式為ax^{2}+bx+c, 依下列方程求解未知數{\displaystyle a,\ b,\ c,}

{\displaystyle ax\_{n}^{2}+bx\_{n}+c=f(x\_{n}),}
{\displaystyle 2ax\_{n}+b=f^{\prime }(x\_{n}),}
{\displaystyle 2a=f^{\prime \prime }(x\_{n}).}
然後二次函數ax^{2}+bx+c的極值點即為下一個疊代點, 

{\displaystyle x\_{n+1}=-{\frac {b}{2a}}.}
而在高維問題中, 上述的極值點也可以是鞍點. 值得一提的是, 如果f(x)恰為一個二次函數, 則其極值點只需一次疊代中即可找到.

高維問題求解
------

上述的一維問題的疊代法可以被推廣至多維問題. 只需將導數替換為梯度 ({\displaystyle \nabla f(x)}), 並將二階導數的倒數替換為Hessian矩陣的逆矩陣 ({\displaystyle \mathbf {H} f(x)}), 即: 

{\displaystyle x\_{n+1}=x\_{n}-[\mathbf {H} f(x\_{n})]^{-1}\nabla f(x\_{n}),n\geq 0.}
通常, 使用牛頓法時會加入一個步長變量{\displaystyle \gamma \in (0,1)}作微調以使每一步疊代都滿足Wolfe條件, 即, 

{\displaystyle x\_{n+1}=x\_{n}-\gamma [\mathbf {H} f(x\_{n})]^{-1}\nabla f(x\_{n}).}
這個方法被稱為**無約束牛頓法**, 通常用於第一步之後的疊代. 

只要牛頓法適用, 其收斂於最小值或最大值的速度均頗快於最速下降法. 事實上, 對於每一個極小值, 都存在一個鄰域N使得, 只要Hessian矩陣是可逆的且是一個關於{\displaystyle x\in N}的Lipschitz連續函數, 以{\displaystyle x\_{0}\in N}為初值, 步長{\displaystyle \gamma =1}的牛頓法是**二次收斂**的.

  

求一個高維問題的Hessian矩陣的逆矩陣是一件頗費工夫的事情. 在實際應用中, 通常會用向量{\displaystyle \Delta x=x\_{n+1}-x\_{n}}作為線性方程組

{\displaystyle [\mathbf {H} f(x\_{n})]\Delta x=-\nabla f(x\_{n})}
的解. 這個求解過程中, 透過使用各種矩陣分解方法同近似求解方法, 求解速度可以大大提升. 然而, 這些矩陣分解方法或近似求解方法的使用需要滿足一定條件; 例如, Cholesky分解同共軛梯度法只有在{\displaystyle \mathbf {H} f(x)}是正定矩陣時才適用. 這看似是一個限制, 但有時也能充當檢驗答案的工具; 例如, 在一個最小化問題 ({\displaystyle {\text{min }}f(x)}) 中, 求出一個x^{\prime }使得{\displaystyle \nabla f(x^{\prime })=0}但{\displaystyle \mathbf {H} f(x)}不是正定矩陣, 那麽{\displaystyle (x^{\prime },f(x^{\prime }))}只是f(x)的一個鞍點而非極小值點. 

  

另一方面, 一個有約束的問題的求解過程可能會遇到**當前解**陷入一個鞍點的情況, 這時的Hessian矩陣是對稱不定的; 此時則要使用其他方法, 例如Cholesky分解的{\displaystyle \mathbf {LDL} ^{\mathbf {T} }}變形或共軛梯度法等的方法, 來疊代得出x\_{n+1}.

  

此外, 為規避求Hessian矩陣的繁瑣, 也存在多種擬牛頓法, 通過調整梯度以求出Hessian矩陣的近似. 

  

如果Hessian矩陣{\displaystyle \mathbf {H} f(x)}接近一個奇異矩陣, 則其逆矩陣會變得數值不穩定且疊代不會收斂. 此種情形下, 前人探索出了很多成功的方法來解決問題. 目標之一是通過引入**修正矩陣**B\_{n}使得{\displaystyle \mathbf {H} f(x\_{n}):=\mathbf {H} f(x\_{n})+B\_{n}}是對稱正定的. 其中一種方法是將{\displaystyle \mathbf {H} f(x\_{n})}對角化, 選擇B\_{n}使{\displaystyle \mathbf {H} f(x\_{n})+B\_{n}}有相同的特徵向量, 但每一個{\displaystyle \mathbf {H} f(x\_{n})}的負特徵值都被替換成{\displaystyle \epsilon >0.}

  

一個應用於萊文貝格－馬夸特方法 (其中用到了近似的Hessian矩陣) 的方法是引入一個帶係數的單位矩陣{\displaystyle \mu \mathbf {I} }, 係數在每一步疊代中調整. 對於較大的\mu 及較小的Hessian矩陣, 疊代將變得與以{\displaystyle \mu ^{-1}}為步長的最速下降法相似, 這將使得疊代收斂變慢, 但在Hessian矩陣不定或半定的情況下, 收斂更穩定.

參閱
--

* 擬牛頓法
* 最速下降法
* 高斯–牛頓算法
* 萊文貝格－馬夸特方法
* 置信域方法
* 最佳化
* Nelder–Mead方法

參考文獻
----

* Avriel, Mordecai.. Dover Publishing. 2003. ISBN 0-486-43227-0.
* Bonnans, J. Frédéric; Gilbert, J. Charles; Lemaréchal, Claude; Sagastizábal, Claudia A.. Universitext Second revised ed. of translation of 1997 French. Berlin: Springer-Verlag. 2006: xiv+490  [2017-08-07]. ISBN 3-540-35445-X. MR 2265882. doi:10.1007/978-3-540-35447-5. （原始内容存档于2013-07-19）.
* Fletcher, Roger.  2nd. New York: John Wiley & Sons. 1987. ISBN 978-0-471-91547-8.
* Nocedal, Jorge; Wright, Stephen J.. Springer-Verlag. 1999. ISBN 0-387-98793-2.

外部連結
----

* Korenblum, Daniel.. Bl.ocks. Aug 29, 2015  [2017-08-07]. ffe9653768cb80dfc0da. （原始内容存档于2014-07-14）.

|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 

| * 
* 论
* 编
艾萨克·牛顿爵士 |
| --- |
|  |
| 科學著作 | 
* 《流数法》（1671）
* 《物體在軌道中之運動（英语：）》（1684）
* 《自然哲学的数学原理》（1687）
* 《光学（英语：）》（1704）
* 《The Queries（英语：）》（1704）
* 《廣義算術（英语：）》（1707）
* 《用無窮級數做數學分析（英语：）》（1711）

 |  |
|  |
| 其它著作 | 
* 《若干哲學問題（英语：）》（1661–1665）
* 《站在巨人的肩膀上（英语：）》（1675）
* 《Notes on the Jewish Temple（英语：）》（約1680）
* 《總釋（英语：）》（1713；《不作假设（英语：）》）
* 《古王國年表，修訂（英语：）》（1728）
* 《两处著名圣经讹误的历史变迁（英语：）》（1754）

 |
|  |
| 貢獻 | 
* 微积分学
	+ 流數
* 冲击深度
* 慣性
* 牛頓色環（英语：）
* 牛頓多邊形（英语：）
	+ 牛頓–奧昆科夫體（英语：）
* 牛頓反射望遠鏡（英语：）
* 牛顿望远镜
* 牛頓溫標
* 牛頓合金（英语：）
* 光學頻譜
* 结构色

 |
|  |
| 牛頓主義（英语：） | 
* 水桶實驗（英语：）
* 牛頓不等式
* 冷却定律
* 万有引力定律
	+ 后牛顿力学近似方法
	+ 後牛頓形式論
	+ 万有引力常数
* 牛頓–嘉當理論（英语：）
* 薛定谔-牛顿方程
* 牛顿运动定律
	+ 第一定律
	+ 第二定律
	+ 第三定律
	+ 开普勒定律
* 牛頓動力學（英语：）
* 應用於最優化的牛頓法
	+ 问题
	+ 截斷牛頓法（英语：）
* 高斯牛頓算法（英语：）
* 牛頓環
* 牛頓橢圓定理（英语：）
* 牛顿-问题
* 牛頓位（英语：）
* 牛顿流体
* 
* 光的微粒理论
* 牛顿与莱布尼茨的微积分学论战（英语：）
* 牛頓記法（英语：）
* 旋轉球體（英语：）
* 牛顿大炮
* 
* 牛顿法
	+ 廣義高斯-牛顿法（英语：）
* 
* 牛頓恆等式
* 牛顿多项式
* 牛頓旋轉軌道定理
* 牛顿-歐拉方程式（英语：）
* 牛頓數
	+ 吻球數問題（英语：）
* 牛頓商（英语：）
* 力的平行四边形（英语：）
* 牛顿-皮瑟理論（英语：）
* 絕對時空
* 以太
* 牛頓級數
	+ 列表（英语：）

 |
|  |
| 個人 | 
* 伍尔索普庄园（出生地）
* Cranbury Park（英语：）（成長地）
* 早年生活（英语：）
* 晚年生活（英语：）
* 蘋果樹（英语：）
* 宗教思想（英语：）
* 神秘學研究（英语：）
* 科学革命
* 哥白尼革命

 |
|  |
| 人際關係 | 
* 凱瑟琳·巴頓（英语：）（侄女）
* 約翰·孔杜伊特（英语：）（姪女婿）
* 艾萨克·巴罗（指導教授）
* 威廉·克拉克（英语：）（指導者）
* Benjamin Pulleyn（英语：）（導師）
* 约翰·基尔（英语：）（徒弟）
* 威廉・斯圖凱利（英语：）（好友）
* 威廉·琼斯（好友）
* （好友）
* （仇敵）

 |
|  |
| 描繪（英语：） | 
* 《牛顿》（單版畫）
* 《牛顿（英语：）》（雕塑）
* 《艾薩克·牛頓雨漏（英语：）》
* 《天文學家紀念碑（英语：）》

 |
|  |
| 相關（英语：） | 
* 牛頓 (單位)
* 牛顿摆
* 艾萨克·牛顿研究所（英语：）
* 艾萨克·牛顿奖章
* 艾萨克·牛顿望远镜
* 艾萨克·牛顿望远镜组（英语：）
* XMM-牛顿卫星
* 施密特-牛頓望遠鏡
* 艾薩克·牛頓爵士大學預科學校（英语：）
* 艾薩克·牛頓斯塔塔爾高等教育學院（英语：）
* 牛頓國際獎學金（英语：）

 |
|  |
| 分類 | 
  艾萨克·牛顿
 |

 |