信息几何

信息几何是用微分几何研究概率论和统计学的交叉学科。 这门学科研究统计流形，即点与概率分布相对应的黎曼流形。 从历史上看，信息几何可追溯到卡利安普迪·拉达克里希纳·拉奥的工作，他首先将费希尔矩阵视为黎曼度量。现代理论主要归功于甘利俊一，他的工作对该领域产生了重大影响。 经典的信息几何将有参概率模型视作黎曼流形。对于这类模型，可自然选择出黎曼度量，即费希尔信息度量。在概率模型为指数族时，有可能用黑塞度量（即凸函数的势给出的黎曼度量）导出统计流形，这时流形会自然继承两个平面仿射联络，以及正规布雷格曼散度。历史上，许多工作都致力于研究这些例子的相关几何。在现代背景下，信息几何适用于更广泛的背景，包括非指数族、非参数统计，甚至是不从已知概率模型导出的抽象统计流形。这些结果结合了信息论、仿射微分几何、凸分析等众多领域的技术。 该领域的标准参考书是甘利俊一与长冈浩司的《信息几何方法》及Nihat Ay等人的最新著作。Frank Nielsen在调查报告中做了较温和的介绍。2018年，《信息几何学》期刊正式创立，专门讨论该领域。 作为一个跨学科领域，信息几何已被广泛应用于各种领域，主要应用于统计分析、控制理论、神经网络、量子力学、信息论等领域。 下面是不完整的清单： 统计推断 时间序列与线性系统 过滤问题 量子系统 神经网络 机器学习 统计力学 生物学 统计学 金融数学 鲁平几何 相对熵 随机几何 流形随机分析 投影滤波器 Nielsen, Frank. The Many Faces of Information Geometry (PDF). Notices of the AMS (American Mathematical Society). 2022, 69 (1): 36-45 [2023-11-09]. （原始内容存档 (PDF)于2023-11-09）.  Rao, C. R. Information and Accuracy Attainable in the Estimation of Statistical Parameters. Bulletin of the Calcutta Mathematical Society. 1945, 37: 81–91.  Reprinted in Breakthroughs in Statistics. Springer. 1992: 235–247. S2CID 117034671. doi:10.1007/978-1-4612-0919-5_16.  Nielsen, F. Cramér-Rao Lower Bound and Information Geometry. Bhatia, R.; Rajan, C. S. (编). Connected at Infinity II: On the Work of Indian Mathematicians. Texts and Readings in Mathematics. Special Volume of Texts and Readings in Mathematics (TRIM). Hindustan Book Agency. 2013: 18–37. ISBN 978-93-80250-51-9. S2CID 16759683. arXiv:1301.3578 . doi:10.1007/978-93-86279-56-9_2.  Amari, Shun'ichi. A foundation of information geometry. Electronics and Communications in Japan. 1983, 66 (6): 1–10 [2023-11-09]. doi:10.1002/ecja.4400660602. （原始内容存档于2023-11-09）.  Amari, Shun'ichi; Nagaoka, Hiroshi. Methods of Information Geometry. Translations of Mathematical Monographs 191. American Mathematical Society. 2000. ISBN 0-8218-0531-2.  Ay, Nihat; Jost, Jürgen; Lê, Hông Vân; Schwachhöfer, Lorenz. Information Geometry. Ergebnisse der Mathematik und ihrer Grenzgebiete 64. Springer. 2017. ISBN 978-3-319-56477-7.  Nielsen, Frank. An Elementary Introduction to Information Geometry. Entropy. 2018, 22 (10) [2023-11-09]. （原始内容存档于2023-09-07）.  Kass, R. E.; Vos, P. W. Geometrical Foundations of Asymptotic Inference. Series in Probability and Statistics. Wiley. 1997. ISBN 0-471-82668-5.  Brigo, Damiano; Hanzon, Bernard; LeGland, Francois. A differential geometric approach to nonlinear filtering: the projection filter (PDF). IEEE Transactions on Automatic Control. 1998, 43 (2): 247–252 [2023-11-09]. doi:10.1109/9.661075. （原始内容存档 (PDF)于2022-03-02）.  van Handel, Ramon; Mabuchi, Hideo. Quantum projection filter for a highly nonlinear model in cavity QED. Journal of Optics B: Quantum and Semiclassical Optics. 2005, 7 (10): S226–S236. Bibcode:2005JOptB...7S.226V. S2CID 15292186. arXiv:quant-ph/0503222 . doi:10.1088/1464-4266/7/10/005.  Amari, Shun'ichi. Differential-Geometrical Methods in Statistics. Lecture Notes in Statistics. Berlin: Springer-Verlag. 1985. ISBN 0-387-96056-2.  Murray, M.; Rice, J. Differential Geometry and Statistics. Monographs on Statistics and Applied Probability 48. Chapman and Hall. 1993. ISBN 0-412-39860-5.  Marriott, Paul; Salmon, Mark (编). Applications of Differential Geometry to Econometrics. Cambridge University Press. 2000. ISBN 0-521-65116-6.  [1] （页面存档备份，存于互联网档案馆） Information Geometry journal by Springer Information Geometry （页面存档备份，存于互联网档案馆） overview by Cosma Rohilla Shalizi, July 2010 Information Geometry （页面存档备份，存于互联网档案馆） notes by John Baez, November 2012 Information geometry for neural networks(pdf ) （页面存档备份，存于互联网档案馆）, by Daniel Wagenaar