# Aproximació de Laplace

L'aproximació de Laplace proporciona una expressió analítica per a una distribució de probabilitat posterior ajustant una distribució gaussiana amb una mitjana igual a la solució MAP i una precisió igual a la informació de Fisher observada. L'aproximació està justificada pel teorema de Bernstein–von Mises, que afirma que en condicions de regularitat el posterior convergeix a un gaussià en mostres grans.
Per exemple, un model de classificació o regressió (possiblement no lineal) amb un conjunt de dades $\{x_{n},y_{n}\}_{n=1,\ldots ,N}$ que inclou entrades $x$ i sortides $y$ té un vector de paràmetres (desconegut). $\theta$ de llargada $D$. Es denota la probabilitat $p({\bf {y}}|{\bf {x}},\theta )$ i el paràmetre anterior $p(\theta )$. Suposem que es vol aproximar la densitat conjunta de sortides i paràmetres $p({\bf {y}},\theta |{\bf {x}})$
$p({\bf {y}},\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}},\theta )p(\theta |{\bf {x}})\;=\;p({\bf {y}}|{\bf {x}})p(\theta |{\bf {y}},{\bf {x}})\;\simeq \;{\tilde {q}}(\theta )\;=\;Zq(\theta ).$
L'articulació és igual al producte de la versemblança i l'anterior i per la regla de Bayes, igual al producte de la versemblança marginal $p({\bf {y}}|{\bf {x}})$ i posterior $p(\theta |{\bf {y}},{\bf {x}})$. Vist en funció de $\theta$ l'articulació és una densitat no normalitzada. En l'aproximació de Laplace aproximem l'articulació mitjançant una gaussiana no normalitzada ${\tilde {q}}(\theta )=Zq(\theta )$, on fem servir $q$ per indicar la densitat aproximada, ${\tilde {q}}$ per a la densitat no normalitzada i $Z$ és una constant (independent de $\theta$ ). Des de la probabilitat marginal $p({\bf {y}}|{\bf {x}})$ no depèn del paràmetre $\theta$ i el posterior $p(\theta |{\bf {y}},{\bf {x}})$ es normalitza $\theta$ podem identificar-los immediatament $Z$ i $q(\theta )$ de la nostra aproximació, respectivament. L'aproximació de Laplace és
$p({\bf {y}},\theta |{\bf {x}})\;\simeq \;p({\bf {y}},{\hat {\theta }}|{\bf {x}})\exp {\big-{\tfrac {1}{2}}(\theta -{\hat {\theta }})S^{-1}(\theta -{\hat {\theta }}){\big )}\;=\;{\tilde {q}}(\theta ),$
on hem definit
${\begin{aligned}{\hat {\theta }}&\;=\;\operatorname {argmax} _{\theta }\log p({\bf {y}},\theta |{\bf {x}}),\\S^{-1}&\;=\;-\left.\nabla _{\theta }\nabla _{\theta }\log p({\bf {y}},\theta |{\bf {x}})\right|_{\theta ={\hat {\theta }}},\end{aligned}}$
on ${\hat {\theta }}$ és la ubicació d'un mode de la densitat objectiu conjunta, també conegut com a màxim a posteriori o punt MAP i $S^{-1}$ és el $D\times D$ matriu definida positiva de segones derivades de la densitat objectiu de l'articulació negatiu al mode $\theta ={\hat {\theta }}$. Així, l'aproximació gaussiana coincideix amb el valor i la curvatura de la densitat objectiu no normalitzada en el mode. El valor de ${\hat {\theta }}$ normalment es troba utilitzant un mètode basat en gradients, per exemple, el mètode de Newton. En resum, tenim
${\begin{aligned}q(\theta )&\;=\;{\cal {N}}(\theta |\mu ={\hat {\theta }},\Sigma =S),\\\log Z&\;=\;\log p({\bf {y}},{\hat {\theta }}|{\bf {x}})+{\tfrac {1}{2}}\log |S|+{\tfrac {D}{2}}\log(2\pi ),\end{aligned}}$
per a la part posterior aproximada $\theta$ i la probabilitat logarítmica marginal aproximada respectivament. En el cas especial de la regressió lineal bayesiana amb un a priori gaussià, l'aproximació és exacta. Les principals debilitats de l'aproximació de Laplace són que és simètrica al voltant del mode i que és molt local: tota l'aproximació es deriva de propietats en un sol punt de la densitat objectiu. El mètode de Laplace és àmpliament utilitzat i va ser pioner en el context de les xarxes neuronals per David MacKay, i per als processos gaussians per Williams i Barber.

## Referències

* ↑ Kass, Robert E. «Laplace’s method in Bayesian analysis». A: Statistical Multiple Integration. 115, 1991, p. 89–100 (Contemporary Mathematics). DOI 10.1090/conm/115/07. ISBN 0-8218-5122-5.
* ↑ MacKay, David J. C. «Information Theory, Inference and Learning Algorithms, chapter 27: Laplace's method» (en anglès).
* ↑ Walker, A. M. Journal of the Royal Statistical Society, 31, 1, 1969, pàg. 80–88. JSTOR: 2984328.
* ↑ Kass, Robert E. «The Validity of Posterior Expansions Based on Laplace's Method». A: Geisser. Bayesian and Likelihood Methods in Statistics and Econometrics (en anglès). Elsevier, 1990, p. 473–488. ISBN 0-444-88376-2.
* ↑ MacKay, David J. C. Neural Computation, 4, 3, 1992, pàg. 415–447. DOI: 10.1162/neco.1992.4.3.415.
* ↑ Williams, Christopher K. I.; Barber, David PAMI, 20, 12, 1998, pàg. 1342–1351. DOI: 10.1109/34.735807.