拉普拉斯方法

title: 拉普拉斯方法的想法概论.
content: 首先,我们得先知道的是,这里所谓的近似解是以 相对误差 在讲,而不是指 绝对误差 。因此,令  formula_3,  此 "s" 很显然的当 "M" 很大时为一个微小的数,则上述的积分可以写为  因此,我们的相对误差很显然的为  现在,让我们把积分分为 formula_6 的与余下的部分。  我们现在来研究 formula_7 的 泰勒展开 。这里展开的原点取 "x",并将变量由 "x" 换为 "y" 因为我们是在对 "y" 做积分,再加上 "x" 为函数极大值所在处,因此,  会发现高于二次微分的部分当 "M" 增大时,会被压抑掉,而此 指数函数 则会越来越接近 高斯函数 formula_9 且 formula_10 。如下图所示:  所以,即便 "D" 取非常大, "sD" 最后还是会变得非常小,那么,我们怎么保证余下的部分的积分也会趋近到0?  简单的想法是,设法找一个函数 formula_14,使它在余下的区域内 formula_15,并且随着 formula_16 的增大,formula_17 的积分会趋近于0 即可。而指数函数只要指数部分为实数,它就一定大于0,并且当指数变大时,指数函数也会跟着变大。基于这两个理由, formula_18 的积分也会趋近于0。 在此,我们可以选择此 formula_14 为过 formula_20 的切线函数,如下图所示:  若为有限积分区间,我们可以看出,只要 formula_16 够大,这切线的斜率就会趋近于0,因此,不管 formula_22 在其余部分是否连续,它们总会在这切线以下,并且很容易证明(后面会证) formula_17 的积分当 formula_16 很大时,就会趋近于0。  然而,若积分范围是无限大的话,那么,formula_14 就有可能总是与 formula_22 有相交,若有相交,则表示无法保证 formula_18 的积分最后会趋近于0。比方 formula_28 的情形下,不管 formula_16 为多少,它的 formula_30 总是会发散。所以,对于积分范围为无限大的情形,还得要求 formula_31 会收敛才行,那么,只要 formula_32 越来越大,该积分就会趋近于0。而这 formula_32 可选为formula_14 与 formula_22 相交之处即可,即保证所有余下的部分的积分会趋近于0。  也许您会问说,为何不是要求 formula_36 会收敛?举个例子,若 formula_22 在余下区域内为 formula_38,则 formula_39,积分会发散,然而,当 formula_40, formula_41 的积分却是收敛的。所以,有的函数在 formula_16 小的时候会发散,然而,当 formula_16 够大时却会是收敛的。 基于上述四点,就有办法证明拉普拉斯方法的可靠性。而 Fog(2008) 又将此方法推广到任意精确。 ***待考查***  此方法的正式表述与证明:  假设 formula_22 是一个在 formula_45 这点满足 (1) formula_46,(2)唯一全域最大,(3) formula_47 附近为二阶可微且 formula_48 (4) 当拉普拉斯方法的积分范围为无限大时,此积分会收敛,  则,  下限 :  在 formula_50 要求连续的条件底下,给定任意大于0的formula_51 就能找到一个 formula_52 使得在 formula_53 这区间内所有的 formula_54 。 由 泰勒展开 我们可以得知,在 formula_55 区间内, formula_56 。  这样,我们就得到本方法的积分下限了:  其中最后一个等号来自于变量变换: formula_58 。请记得 formula_48,所以我们才会对它的负号取开根号。  接着让我们对上面的不等式两边同除以 formula_60 并且对 formula_61取极限,则  既然上式是对任意大于0的 formula_51 都对,所以我们得到:  请注意,上面的证明也适用于 formula_65 或 formula_66 或双双跑到正负无限大的情况  上限 :  证明上限的部分其实和证明下限的部分很像,但是会较麻烦。再一次,我们取formula_67,不过,不再是任意而是多了一个要求 formula_51 得够小以致于 formula_69 。接着,就如同之前的证明,因着 formula_50 被要求连续,并且根据 泰勒定理 我们会发现总存在一个 formula_71 以至于在 formula_72 区间里, formula_73 总是可以成立。 最后,在我们的假设里 (假设 formula_74 都是有限值),由于 formula_75 是全域最大所在处,我们总可以找到一个 formula_76 使得所有在 formula_77 这区间里, formula_78 总是成立。  现在,万事俱备,东风就在下面啦:  如果我们对上面的不等式两边皆除以 formula_60 并且顺便取极限的话,会得到:  再一次,因为 formula_51 可以取任意大于0的值,所以我们得到了上限了:  把上限与下限两个证明同时考虑,整个证明就完成了。  注意,关于上限的证明,很明显的当我们把它应用在 formula_86 或 formula_87 为正负无限大时,该上限证明会失败。那怎么办呢?我们需要再多假设一些东西。一个充分但非必要的假设是:当 formula_88 时,此积分 formula_89 为有限值,并且上面所说的 formula_90 是存在的 (注意,当 formula_91 区间是无限的时候,这假设是必要的) 。整个证明过程就如同先前所显示的那样,只不过下列的积分部分要做点改变:  必须利用上述的假设,而改为:  以取代先前会得到的 formula_94,这样的话,当我们除以 formula_60,就会改得到如下的结果:  这样的话,当我们取 formula_97 时,上式的值就会趋近于 formula_98 。而剩下的部分的证明就还是如同原先的证明,不做改变。  再强调一次,这里我们多加给无限大积分范围的情形的条件,是充分,但非必要。不过,这样的条件已经可以适用在许多情形了(但非全部)。 这考虑条件简单来讲就是积分区间得是被良好定义的(即不能是无限大的),并且被积函数在 formula_47 必须是真的极大 (意即 formula_100 必须真的存在) ;如果这积分区间是无限大的话,要求 formula_101 时的此拉普拉斯方法所用的积分值要为有限并非必要的,其实只要当 formula_102 大于某数时,此积分值会是有限的即可。
title: 其他形式.
content: 有时拉普拉斯方法也会被写成其他形式,如:  其中 formula_104为正 (好像不必要)。  重要的是,这方法精确度与函数 formula_105 和 formula_106 有关。 ***待考查*** 首先,由于极大值所在设为 formula_107 并不影响计算结果,所以以下的推导皆如此假设。此外,我们想要的是相对误差 formula_108,所以  其中 formula_110,所以,若我们令 formula_111 且 formula_112,则  所以,只要我们求得上式的上限为何,即可得相对误差。注意,这里的推导还可以再优化,不过,由于此处我只想显示它会收敛到0,因此,不再细推。  由于 formula_114,因此  其中 formula_116 与 formula_117 雷同,所以只算 formula_116,经过 formula_119 的变换后,得到  也就是说,只要 formula_121 取得够大,它就会趋近于0。  而 formula_122 与 formula_123 也雷同,所以也只算一个:  其中  并且 formula_126 在此范围内要与 formula_127 同号。 这里让我们选过 formula_20 的切线为 formula_14 吧!即 formula_130,如图所示:  由图可以看出,当 formula_131 或者 formula_132 变小时,满足上列不等式的区间会变大,因此,为了涵盖整个区间, formula_132 有了上限。此外,formula_134 的积分也相对容易,因此,很适合用来预估误差。  由泰勒展开我们得知,  且  然后将它们代回 formula_122 的计算里,不过,您可以看到,上述的两个余项皆与 formula_16 的开根号成反比,为了式子的漂亮,让我省略它们吧!不省略只是看起来较丑陋而已,不过,那样子较严谨便是。  所以,原则上也是 formula_121 越大则越趋近于0。只不过,在决定 formula_14 的过程,设下了 formula_121 的上限。  至于靠近极大值的点的积分,我们一样可以利用泰勒展开来求,当 formula_126 在此点的一阶微分不为0时,  会看到它原则上与 formula_16 的开根号成反比,其实,当 formula_146 为常数时,积分出来的也会有如此的行为。  所以,概括的讲,靠近极大点的附近的积分原则上会随着 formula_147 的增大而变小,而其余的部分,只要 formula_121 够大,也会趋近于0,只是这formula_121 是有上限的,取决于我们所找的上限函数 formula_14 是否在这区间内总是大于 formula_151 ;不过,一旦有一个满足条件的 formula_14 被找到,由于切线的起点为 formula_20,因此,formula_121 可以取正比于 formula_13 即可,所以, formula_16 越大,formula_121 也可以设越大。 至于多维的情形,让我们令 formula_158 是一个 formula_61 维向量,而 formula_160 则是一个纯量函数,则此拉普拉斯方法可以写成  其中的 formula_162 是一个在formula_163 取值的 海森矩阵,而 formula_164 则是指矩阵的 行列式 ;此外,与单变量的拉普拉斯方法类似,这里的 海森矩阵 必须为 负定矩阵,即该矩阵的所有本征值皆小于0,这样才会是极大值所在。.
title: 拉普拉斯方法的推广:最速下降法.
content: 此拉普拉斯方法可以被推广到 复分析 里头使用,搭配 留数定理,以找出一个过最速下降点的 contour (翻路径的话,会与path integral 相冲,所以,这里还是以英文原字称呼) 的 曲线积分,用来取代原有的复数空间的 contour积分。因为有时 formula_165 的一阶微分为0的点未必就在实数轴上,而就算真在实数轴上,也未必二阶微分在 formula_166 方向上为小于0 的实数;此种情况下,就得使用最速下降法了。由于最速下降法中,已经利用另一条通过最速下降的鞍点来取代原有的 contour 积分,经过变量变换后就会变得有如拉普拉斯方法,因此,我们可以透过这新的 contour,找到原本的积分的渐进近似解,而这将大大的简化整个计算。就好像原本的路径像是在蜿蜒的山路开车,而新的路径就像干脆绕过这座山开,反正目的只是到达目的地而已,留数定理已经帮我们把中间的差都算好了。请读 Erdelyi (2012)与 Arfken & Weber (2005) 的书里有关 "steepest descents" 的章节。  以下就是该方法在"z" 平面下的形式:  其中 "z" 就是新的路径通过的鞍点。 注意,开根号里的负号是用来指定最速下降的方向,千万别认为取 formula_168 的绝对值来取代这个负号,若然,那就大错特错了。 另外要注意的是,如果该被积函数是 亚纯函数,就有必要将被新旧 contour 包到的极点所贡献的留数给加入,范例请参考 Okounkov 的文章 arXiv:math/0309074 的第三章。
title: 更进一步一般化.
content: 最速下降法还可以更进一步的推广到所谓的 "非线性稳定相位/最速下降法" (nonlinear stationary phase/steepest descent method)。 这方法主要用在解非线性偏微分方程,透过将非线性偏微分方程转换为求解柯西变换(Cauchy transform)的积分形式,就可以借由最速下降法的想法来得到非线性解的渐进解。  以 艾里方程(线性) formula_169 为例,它可以写成积分形式如下:  由这条积分式,我们就可以借由最速下降法(若 formula_171 指的是负实数轴,那么就回到此拉普拉斯方法了)来得到它的渐进解了。  然而,若方程序如 KdV方程 formula_172 是个非线性偏微分方程,想要找到它的解相对应的一个复数 contour 积分的话,就没那么简单,在非线性稳定相位/最速下降法里所用到的概念主要是基于散射逆转换 (inverse scattering transform) 的处理方式,即先将原本的非线性偏微分方程变成 Lax 对,其中一个像是线性的 薛定谔方程序,其位能障为我们要找的 formula_173,本征值为 formula_174,波函数为 formula_175 (不过,它并非我们所要的 formula_176 );因此可以解它的散射矩阵,若利用解析延拓将原本的波函数由实数 formula_174 延拓到复数空间时,就可以得到黎曼希尔伯特问题(RHP)的形式。利用这个黎曼希尔伯特问题(RHP),我们可以解得 formula_178 的柯西变换的积分形式,再利用此线性薛定谔方程的特性,就可以反推出 formula_173 的复数 contour 积分 形式了。  而 Lax 对 的另一个偏微分方程则是决定每个 formula_175 随时间变化的行为,由于 formula_173 在 formula_182 时被要求为0,会发现整个偏微分方程会变得十分简单,并且只决定 formula_183 里的 formula_184 的值,不过,条件是 formula_175 必须是指由正负无限远入射或反射波的解。这样,我们所得到的这个只与时间与本征值有关的系数 formula_184 就可以直接被应用在上述的黎曼希尔伯特问题(RHP)里的跃变矩阵里了。  接着就是非线性稳定相位/最速下降法所要做的工作,即找出 鞍点 来,在该点附近基于最速下降法的精神做近似。不过,这近似因着考虑到收敛性,需要将原本的 contour 变形,与将原本的黎曼希尔伯特问题(RHP)作转换,所以有再比原本的最速下降法多出一些步骤来。  这整个方法最早由 Deift 与 Zhou 在 1993 基于 Its 之前的工作所提出的,后续又有许多人加以改进,主要的应用则有 孤波 理论,可积模型等。
title: 复数积分.
content: 以下的积分常用在 拉普拉斯变换#拉普拉斯逆变换 里,  假定我们想要得到该积分在 formula_188 时的结果(若 formula_189 为时间,通常就是在找经过够久时间后达稳定的结果),我们可以透过 解析延拓 的概念,先将这时间换成虚数,如 "t" = "iu" 并且一并做 formula_190 的变换,则我们可以将上式转换为如下的 拉普拉斯变换#双边拉普拉斯变换  这里就可以套用此拉普拉斯方法求渐进解,最后,再利用 "u" = "t" / "i" 把 "t" 换回来,就可以得到该拉普拉斯逆变换的渐进解了。
title: 例子1:斯特灵公式.
content: 拉普拉斯方法可以用在推导 斯特灵公式 上;当 "N" 很大时,  由 Γ函数 的积分定义,我们可以得到  接着让我们做变量变换, 因此 将这些代回 Γ函数 的积分定义里,我们可以得到  经由此变量变换后,我们有了拉普拉斯方法所需要的formula_22 为 而它乃为二次可微函数,且 因此, "ƒ"("z") 的极大值出现在 "z" = 1 而且在该点的二次微分为 formula_201 。因此,我们得到
title: 例子2:贝氏网络,参数估计与概率推理.
content: 关于概率推理的简介,请参考 http://doc.baidu.com/view/e9c1c086b9d528ea81c77989.html 。 而在 的文章里,则回顾了如何应用此拉普拉斯方法 (无论是单变量或者多变量) 如何应用在 "概率推理" 上,以加速得到系统的 后验矩 (数学) (posterior moment), 贝氏参数 等,并举医学诊断上的应用为例。
title: 参考文献.
content: 请参阅 https://en.wikipedia.org/wiki/Laplace%27s_method 的 References。

Summary: 在数学上,以皮埃尔-西蒙·拉普拉斯命名的拉普拉斯方法是用于得出下列积分形式的近似解的方法:

Méthode de Laplace: En mathématiques, la méthode de Laplace, due à Pierre-Simon de Laplace, est une méthode pour l'évaluation numérique d'intégrales de la forme : où formula_2 est une fonction deux fois dérivable, "M" est un grand nombre réel et les bornes "a" et "b" peuvent éventuellement être infinies.