在數值分析中, 一個收斂序列向其極限逼近的速度稱為**收斂速度**. 該概念多用於最優化算法中; 其被定義為一個疊代序列向其**局部最優值**逼近 (假設計算過程收斂, 並能逹到最優值) 的速度, 是評價一個疊代法於該問題中發揮的性能的一個重要指標.

定義
--

收斂速度以收斂階衡量, 亦可以收斂因子描述; 依計算方法的不同, 有下述兩種收斂階及收斂因子.

### 商收斂因子及商收斂階

* **商收斂因子**{\displaystyle Q\_{p}}的定義式如下:

{\displaystyle Q\_{p}=\limsup \_{k\rightarrow \infty }{\frac {||x\_{k+1}-x^{\*}||\_{2}}{||x\_{k}-x^{\*}||\_{2}^{p}}},p\in [1,+\infty ]}
**商收斂因子**也稱***Q*—因子**, **商收斂階**也稱***Q*—收斂階**. 利用商收斂因子, 對收斂速度進行描述的方式如下: 

1. 如果{\displaystyle Q\_{1}=0}, 則稱\{x\_{k}\}是***Q*—超線性收斂**於x^{\*}; 如果{\displaystyle 0<Q\_{1}<1}, 則稱\{x\_{k}\}是***Q*—線性收斂**於x^{\*}; 如果{\displaystyle Q\_{1}\geq 1}, 則稱\{x\_{k}\}是***Q*—次線性收斂**於x^{\*}.
2. 如果{\displaystyle Q\_{2}=0}, 則稱\{x\_{k}\}是***Q*—超平方收斂**於x^{\*}; 如果{\displaystyle 0<Q\_{2}<+\infty }, 則稱\{x\_{k}\}是***Q*—平方收斂**於x^{\*}; 如果{\displaystyle Q\_{2}=+\infty }, 則稱\{x\_{k}\}是***Q*—次平方收斂**於x^{\*}.

**注意:** *Q*—線性收斂與*Q*—平方收斂, 以及*Q*—次線性收斂與*Q*—次平方收斂的評判標準有些微差別. 「*Q*—平方收斂」也稱為「*Q*—二次收斂」. 

依照***Q*—平方收斂** (**不是*Q*—線性收斂**) 的定義, 可以定義*Q*—立方收斂 (將Q\_{2}改為Q\_{3}), *Q*—四次方收斂等更高*Q*—收斂階. 

  

* **商收斂階**{\displaystyle O\_{Q}}的定義式如下:

{\displaystyle O\_{Q}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}Q\_{p}=+\infty \}}
對比商收斂因子的描述, 商收斂階是指求出一個數{\displaystyle n\geq 1} (不一定是整數), 使得對於{\displaystyle \forall t\_{1}\geq n}, 點列\{x\_{k}\}都是*Q*—次t\_{1}次方收於, 且對於{\displaystyle t\_{2}<n}, \{x\_{k}\}都是*Q*—t\_{2}次方收斂. 而這個數n就是點列的商收斂階. 

  

### 根收斂因子及根收斂階

* **根收斂因子**R\_{p}的定義式如下:

{\displaystyle R\_{p}=\left\{{\begin{aligned}\limsup \_{k\rightarrow \infty }||x\_{k}-x^{\*}||\_{2}^{1/k},&{\mbox{ when }}p=1,\\\limsup \_{k\rightarrow \infty }||x\_{k}-x^{\*}||\_{2}^{1/p^{k}},&{\mbox{ when }}p>1.\end{aligned}}\right.}
**根收斂因子**也稱***R*—因子**, **根收斂階**也稱***R*—收斂階**. 利用根收斂因子, 對收斂速度進行描述的方式如下: 

1. 如果{\displaystyle R\_{1}=0}, 則稱\{x\_{k}\}是***R*—超線性收斂**於x^{\*}; 如果{\displaystyle 0<R\_{1}<1}, 則稱\{x\_{k}\}是***R*—線性收斂**於x^{\*}; 如果{\displaystyle R\_{1}=1}, 則稱\{x\_{k}\}是***R*—次線性收斂**於x^{\*}.
2. 如果{\displaystyle R\_{2}=0}, 則稱\{x\_{k}\}是***R*—超平方收斂**於x^{\*}; 如果{\displaystyle 0<R\_{2}<1}, 則稱\{x\_{k}\}是***R*—平方收斂**於x^{\*}; 如果{\displaystyle R\_{2}\geq +\infty }, 則稱\{x\_{k}\}是***R*—次平方收斂**於x^{\*}.

**注意: *R*—次線性收斂與*R*—次平方收斂的評判標準有些微差別. 「*R*—平方收斂」也稱為「*R*—二次收斂」.** 

依照***R*—平方收斂** (**不是*R*—線性收斂**) 的定義, 可以定義*R*—立方收斂 (將R\_{2}改為R\_{3}), *R*—四次方收斂等更高*R*—收斂階.

  

* **根收斂階**{\displaystyle O\_{R}}的定義式如下:

{\displaystyle O\_{R}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}R\_{p}=1\}}
對比根收斂因子的描述, 根收斂階是指求出一個數{\displaystyle n\geq 1} (不一定是整數), 使得對於{\displaystyle \forall t\_{1}\geq n}, 點列\{x\_{k}\}都是*R*—次t\_{1}次方收於, 且對於{\displaystyle t\_{2}<n}, \{x\_{k}\}都是*R*—{\displaystyle \ \ t\_{2}}次方收斂. 而這個數n就是點列的根收斂階. 

  

### 兩種收斂階的聯繫

對於一個收斂點列而言, 其*Q*—收斂階不大於其*R*—收斂階, 即

{\displaystyle O\_{Q}\leq O\_{R}.}
有時, 一個數列的*R*—收斂階可能很高, 但其*Q*—收斂階可能很低. 當然可以證明, 一個*R*—收斂階高的點列至少比某些*Q*—收斂低的點列收斂得更快.

實例
--

### 數列

有如下數列:

{\displaystyle a\_{1}=1,\ a\_{2}={\frac {1}{2}},\ a\_{3}={\frac {1}{4}},\ a\_{4}={\frac {1}{8}},\ \cdots ,\ a\_{k}={\frac {1}{2^{k-1}}},\ \cdots ,\ a\_{\infty }=0.}
容易計算: {\displaystyle Q\_{1}={\frac {1}{2}}}, 故該數列是*Q*線性收斂的; 滿足{\displaystyle Q\_{p}=+\infty }的p的集合為{\displaystyle \{x|x>1\}}, 此集合的下確界為1, 故該數列的收斂階為1. 而同理, 可計算得該數列是*R*線性收性, *R*收斂階為1.

### 向量列

有如下向量列: 

{\displaystyle v^{(1)}=(a,b)^{\mathbf {T} },\ v^{(2)}=(a^{2},b^{2})^{\mathbf {T} },\ \cdots ,\ v^{(k)}=(a^{k},b^{k})^{\mathbf {T} },\ \cdots ,\ v^{(\infty )}=(0,0)^{\mathbf {T} }.(0<a^{2}+b^{2}<1)}.
據上作出計算如下, 

{\displaystyle Q\_{1}=\limsup \_{k\rightarrow \infty }{\frac {\|(a^{k+1},b^{k+1})^{\mathbf {T} }\|\_{2}}{\|(a^{k},b^{k})^{\mathbf {T} }\|\_{2}}}=\limsup \_{k\rightarrow \infty }{\frac {\sqrt {(a^{k+1})^{2}+(b^{k+1})^{2}}}{\sqrt {(a^{k})^{2}+(b\_{k})^{2}}}}<\limsup \_{k\rightarrow \infty }{\frac {\sqrt {(a^{2k}+b^{2k})(a^{2}+b^{2})}}{\sqrt {a^{2k}+b^{2k}}}}={\sqrt {a^{2}+b^{2}}}<1,}
故數列為*Q*線性收斂; *Q*收斂階為1; 

{\displaystyle R\_{1}=\limsup \_{k\rightarrow \infty }(a^{2k}+b^{2k})^{1/2k}=\max\{a,b\}<1,}
故數列為*R*線性收斂; *R*收斂階為1.

### 優化算法的疊代點列

#### 牛頓法

注: 此处的*牛頓法*指應用於最優化的牛頓法.

可以證明, 如果牛頓法的目標函數f(x)的二階導數{\displaystyle f^{\prime \prime }(x)}在其收斂點{\displaystyle x\_{\infty }}處Lipschitz連續, 則滿足不等式

{\displaystyle 0<{\frac {|x\_{k+1}-x\_{\infty }|}{|x\_{k}-x\_{\infty }|}}<+\infty .}
此說明牛頓法的疊代點列是*Q*平方收斂; 另言之, 牛頓法的收斂速度是二次的.

參考文獻
----

1. ↑  Ortega, J R; Rheinboldt, WC.. London: Academic Press. 1970.
2. ↑   袁亞湘.. 北京: 科學出版社. 2008年2月: 17. ISBN 978-7-03-020883-5 （中文（简体））.  使用`|accessdate=`需要含有`|url=` (帮助)