收斂速度

在數值分析中, 一個收斂序列向其極限逼近的速度稱為收斂速度. 該概念多用於最優化算法中; 其被定義為一個疊代序列向其局部最優值逼近 (假設計算過程收斂, 並能逹到最優值) 的速度, 是評價一個疊代法於該問題中發揮的性能的一個重要指標. 收斂速度以收斂階衡量, 亦可以收斂因子描述; 依計算方法的不同, 有下述兩種收斂階及收斂因子. 商收斂因子 Q p {\displaystyle Q_{p}} 的定義式如下: Q p = lim sup k → ∞ | | x k + 1 − x ∗ | | 2 | | x k − x ∗ | | 2 p , p ∈ [ 1 , + ∞ ] {\displaystyle Q_{p}=\limsup _{k\rightarrow \infty }{\frac {||x_{k+1}-x^{*}||_{2}}{||x_{k}-x^{*}||_{2}^{p}}},p\in [1,+\infty ]} 商收斂因子也稱Q—因子, 商收斂階也稱Q—收斂階. 利用商收斂因子, 對收斂速度進行描述的方式如下: 如果 Q 1 = 0 {\displaystyle Q_{1}=0} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是Q—超線性收斂於 x ∗ {\displaystyle x^{*}} ; 如果 0 < Q 1 < 1 {\displaystyle 0<Q_{1}<1} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是Q—線性收斂於 x ∗ {\displaystyle x^{*}} ; 如果 Q 1 ≥ 1 {\displaystyle Q_{1}\geq 1} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是Q—次線性收斂於 x ∗ {\displaystyle x^{*}} . 如果 Q 2 = 0 {\displaystyle Q_{2}=0} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是Q—超平方收斂於 x ∗ {\displaystyle x^{*}} ; 如果 0 < Q 2 < + ∞ {\displaystyle 0<Q_{2}<+\infty } , 則稱 { x k } {\displaystyle \{x_{k}\}} 是Q—平方收斂於 x ∗ {\displaystyle x^{*}} ; 如果 Q 2 = + ∞ {\displaystyle Q_{2}=+\infty } , 則稱 { x k } {\displaystyle \{x_{k}\}} 是Q—次平方收斂於 x ∗ {\displaystyle x^{*}} . 注意: Q—線性收斂與Q—平方收斂, 以及Q—次線性收斂與Q—次平方收斂的評判標準有些微差別. 「Q—平方收斂」也稱為「Q—二次收斂」. 依照Q—平方收斂 (不是Q—線性收斂) 的定義, 可以定義Q—立方收斂 (將 Q 2 {\displaystyle Q_{2}} 改為 Q 3 {\displaystyle Q_{3}} ), Q—四次方收斂等更高Q—收斂階. 商收斂階 O Q {\displaystyle O_{Q}} 的定義式如下: O Q = inf { p | p ∈ [ 1 , + ∞ )  且  Q p = + ∞ } {\displaystyle O_{Q}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}Q_{p}=+\infty \}} 對比商收斂因子的描述, 商收斂階是指求出一個數 n ≥ 1 {\displaystyle n\geq 1} (不一定是整數), 使得對於 ∀ t 1 ≥ n {\displaystyle \forall t_{1}\geq n} , 點列 { x k } {\displaystyle \{x_{k}\}} 都是Q—次 t 1 {\displaystyle t_{1}} 次方收於, 且對於 t 2 < n {\displaystyle t_{2}<n} , { x k } {\displaystyle \{x_{k}\}} 都是Q— t 2 {\displaystyle t_{2}} 次方收斂. 而這個數 n {\displaystyle n} 就是點列的商收斂階. 根收斂因子 R p {\displaystyle R_{p}} 的定義式如下: R p = { lim sup k → ∞ | | x k − x ∗ | | 2 1 / k ,  when  p = 1 , lim sup k → ∞ | | x k − x ∗ | | 2 1 / p k ,  when  p > 1. {\displaystyle R_{p}=\left\{{\begin{aligned}\limsup _{k\rightarrow \infty }||x_{k}-x^{*}||_{2}^{1/k},&{\mbox{ when }}p=1,\\\limsup _{k\rightarrow \infty }||x_{k}-x^{*}||_{2}^{1/p^{k}},&{\mbox{ when }}p>1.\end{aligned}}\right.} 根收斂因子也稱R—因子, 根收斂階也稱R—收斂階. 利用根收斂因子, 對收斂速度進行描述的方式如下: 如果 R 1 = 0 {\displaystyle R_{1}=0} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是R—超線性收斂於 x ∗ {\displaystyle x^{*}} ; 如果 0 < R 1 < 1 {\displaystyle 0<R_{1}<1} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是R—線性收斂於 x ∗ {\displaystyle x^{*}} ; 如果 R 1 = 1 {\displaystyle R_{1}=1} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是R—次線性收斂於 x ∗ {\displaystyle x^{*}} . 如果 R 2 = 0 {\displaystyle R_{2}=0} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是R—超平方收斂於 x ∗ {\displaystyle x^{*}} ; 如果 0 < R 2 < 1 {\displaystyle 0<R_{2}<1} , 則稱 { x k } {\displaystyle \{x_{k}\}} 是R—平方收斂於 x ∗ {\displaystyle x^{*}} ; 如果 R 2 ≥ + ∞ {\displaystyle R_{2}\geq +\infty } , 則稱 { x k } {\displaystyle \{x_{k}\}} 是R—次平方收斂於 x ∗ {\displaystyle x^{*}} . 注意: R—次線性收斂與R—次平方收斂的評判標準有些微差別. 「R—平方收斂」也稱為「R—二次收斂」. 依照R—平方收斂 (不是R—線性收斂) 的定義, 可以定義R—立方收斂 (將 R 2 {\displaystyle R_{2}} 改為 R 3 {\displaystyle R_{3}} ), R—四次方收斂等更高R—收斂階. 根收斂階 O R {\displaystyle O_{R}} 的定義式如下: O R = inf { p | p ∈ [ 1 , + ∞ )  且  R p = 1 } {\displaystyle O_{R}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}R_{p}=1\}} 對比根收斂因子的描述, 根收斂階是指求出一個數 n ≥ 1 {\displaystyle n\geq 1} (不一定是整數), 使得對於 ∀ t 1 ≥ n {\displaystyle \forall t_{1}\geq n} , 點列 { x k } {\displaystyle \{x_{k}\}} 都是R—次 t 1 {\displaystyle t_{1}} 次方收於, 且對於 t 2 < n {\displaystyle t_{2}<n} , { x k } {\displaystyle \{x_{k}\}} 都是R—     t 2 {\displaystyle \ \ t_{2}} 次方收斂. 而這個數 n {\displaystyle n} 就是點列的根收斂階. 對於一個收斂點列而言, 其Q—收斂階不大於其R—收斂階, 即 O Q ≤ O R . {\displaystyle O_{Q}\leq O_{R}.} 有時, 一個數列的R—收斂階可能很高, 但其Q—收斂階可能很低. 當然可以證明, 一個R—收斂階高的點列至少比某些Q—收斂低的點列收斂得更快. 有如下數列: a 1 = 1 ,   a 2 = 1 2 ,   a 3 = 1 4 ,   a 4 = 1 8 ,   ⋯ ,   a k = 1 2 k − 1 ,   ⋯ ,   a ∞ = 0. {\displaystyle a_{1}=1,\ a_{2}={\frac {1}{2}},\ a_{3}={\frac {1}{4}},\ a_{4}={\frac {1}{8}},\ \cdots ,\ a_{k}={\frac {1}{2^{k-1}}},\ \cdots ,\ a_{\infty }=0.} 容易計算: Q 1 = 1 2 {\displaystyle Q_{1}={\frac {1}{2}}} , 故該數列是Q線性收斂的; 滿足 Q p = + ∞ {\displaystyle Q_{p}=+\infty } 的 p {\displaystyle p} 的集合為 { x | x > 1 } {\displaystyle \{x|x>1\}} , 此集合的下確界為 1 {\displaystyle 1} , 故該數列的收斂階為 1 {\displaystyle 1} . 而同理, 可計算得該數列是R線性收性, R收斂階為 1 {\displaystyle 1} . 有如下向量列: v ( 1 ) = ( a , b ) T ,   v ( 2 ) = ( a 2 , b 2 ) T ,   ⋯ ,   v ( k ) = ( a k , b k ) T ,   ⋯ ,   v ( ∞ ) = ( 0 , 0 ) T . ( 0 < a 2 + b 2 < 1 ) {\displaystyle v^{(1)}=(a,b)^{\mathbf {T} },\ v^{(2)}=(a^{2},b^{2})^{\mathbf {T} },\ \cdots ,\ v^{(k)}=(a^{k},b^{k})^{\mathbf {T} },\ \cdots ,\ v^{(\infty )}=(0,0)^{\mathbf {T} }.(0<a^{2}+b^{2}<1)} . 據上作出計算如下, Q 1 = lim sup k → ∞ ‖ ( a k + 1 , b k + 1 ) T ‖ 2 ‖ ( a k , b k ) T ‖ 2 = lim sup k → ∞ ( a k + 1 ) 2 + ( b k + 1 ) 2 ( a k ) 2 + ( b k ) 2 < lim sup k → ∞ ( a 2 k + b 2 k ) ( a 2 + b 2 ) a 2 k + b 2 k = a 2 + b 2 < 1 , {\displaystyle Q_{1}=\limsup _{k\rightarrow \infty }{\frac {\|(a^{k+1},b^{k+1})^{\mathbf {T} }\|_{2}}{\|(a^{k},b^{k})^{\mathbf {T} }\|_{2}}}=\limsup _{k\rightarrow \infty }{\frac {\sqrt {(a^{k+1})^{2}+(b^{k+1})^{2}}}{\sqrt {(a^{k})^{2}+(b_{k})^{2}}}}<\limsup _{k\rightarrow \infty }{\frac {\sqrt {(a^{2k}+b^{2k})(a^{2}+b^{2})}}{\sqrt {a^{2k}+b^{2k}}}}={\sqrt {a^{2}+b^{2}}}<1,} 故數列為Q線性收斂; Q收斂階為 1 {\displaystyle 1} ; R 1 = lim sup k → ∞ ( a 2 k + b 2 k ) 1 / 2 k = max { a , b } < 1 , {\displaystyle R_{1}=\limsup _{k\rightarrow \infty }(a^{2k}+b^{2k})^{1/2k}=\max\{a,b\}<1,} 故數列為R線性收斂; R收斂階為 1 {\displaystyle 1} . 注: 此处的牛頓法指應用於最優化的牛頓法. 可以證明, 如果牛頓法的目標函數 f ( x ) {\displaystyle f(x)} 的二階導數 f ′ ′ ( x ) {\displaystyle f^{\prime \prime }(x)} 在其收斂點 x ∞ {\displaystyle x_{\infty }} 處Lipschitz連續, 則滿足不等式 0 < | x k + 1 − x ∞ | | x k − x ∞ | < + ∞ . {\displaystyle 0<{\frac {|x_{k+1}-x_{\infty }|}{|x_{k}-x_{\infty }|}}<+\infty .} 此說明牛頓法的疊代點列是Q平方收斂; 另言之, 牛頓法的收斂速度是二次的. Ortega, J R; Rheinboldt, WC. Iterative Solution of Nonlinear Equations in Several Variables. London: Academic Press. 1970.  袁亞湘. 非線性優化計算方法. 北京: 科學出版社. 2008年2月: 17. ISBN 978-7-03-020883-5 （中文（简体））.  使用|accessdate=需要含有|url= (帮助)