**约翰逊-林登斯特劳斯定理(Johnson–Lindenstrauss theorem)**，又称**约翰逊-林登斯特劳斯引理(Johnson–Lindenstrauss lemma)**，是由William Johnson（英语：）和Joram Lindenstrauss（英语：）于1984年提出的一个关于降维的著名定理，在现代机器学习，尤其是压缩感知、降维、形状分析（英语：）和分布学习（英语：）等领域中有很重要的应用。

这个定理告诉我们，一个高维空间中的点集，可以被**线性**地镶嵌到低维空间中，同时其空间结构只遭受比较小的形变。约翰逊-林登斯特劳斯定理的证明，还说明了如何用随机投影法（英语：）明确地求出这个变换，所用的算法只需要随机多项式时间。当然，降维不是免费的：如果要求形变很少的话，代价（英语：）是被嵌入的低维空间维数不能很低；反之亦然，如果要求将点集嵌入很低维的空间，那么就不能很好地控制结构形变的程度。

因为能将维数下降到样本量的对数阶，更兼所用的变换是**线性的**、**显式的**还可以被**快速计算**，约翰逊-林登斯特劳斯定理是一个力度非常强的结论。

定理陈述
----

对任何给定的{\displaystyle \epsilon \in (0,1)}以及N维欧几里德空间中的m个点{\displaystyle \{x\_{1},\ldots ,x\_{m}\}}，对于任意满足条件{\displaystyle n>(\epsilon ^{2}/2-\epsilon ^{3}/3)^{-1}\log m}的正整数n，存在一个**线性**映射{\displaystyle f:\mathbb {R} ^{N}\to \mathbb {R} ^{n}}，将这m个点，从{\displaystyle \mathbb {R} ^{N}}(维数可能很高的空间)中映射到\mathbb {R} ^{n}(低维空间)中，同时"基本上"保持了点集成员两两之间的距离，即：对于任意两个点{\displaystyle (x\_{i},x\_{j}):1\leq i<j\leq m}，都有

{\displaystyle (1-\epsilon )\|x\_{i}-x\_{j}\|\_{2}^{2}\leq \|f(x\_{i})-f(x\_{j})\|\_{2}^{2}\leq (1+\epsilon )\|x\_{i}-x\_{j}\|\_{2}^{2}}
更进一步地，这个线性映射f还可以在随机多项式时间内求出。

### 直观理解

约翰逊-林登斯特劳斯定理揭示了一些关于降维映射深刻事实，其中一些还是违反简单直觉的。因此，要想直观地理解这个定理，对初学者来说，可能比从数学式子上读懂证明还要难(反而此定理的证明只用到了比较简单的关于投影的随机误差不等式（英语：）)。举例来说，定理的结论表明，度量形变程度的误差参数\epsilon 以及低维空间的维数n这两个度量降维水准的关键量，均与原始数据所在的空间维数N或者原始的m个点具体为何种空间结构无关，这是很不平凡的。

### 最优性

约翰逊-林登斯特劳斯定理是**不能**被本质性地改进的，即：给定任意正整数m和误差参数\epsilon ，存在某个N以及{\displaystyle \mathbb {R} ^{N}}中的m个点，这个点集"难以降维"——也就是说，对任何一个满足"基本保持点距"要求(即：{\displaystyle (1-\epsilon )\|x\_{i}-x\_{j}\|\_{2}^{2}\leq \|f(x\_{i})-f(x\_{j})\|\_{2}^{2}\leq (1+\epsilon )\|x\_{i}-x\_{j}\|\_{2}^{2}}要对任意{\displaystyle (i,j):1\leq i<j\leq n}成立)的线性映射{\displaystyle f:\mathbb {R} ^{N}\to \mathbb {R} ^{n}}，它用来镶嵌高维数据的那个低维空间(即\mathbb {R} ^{n})，至少必须具有

{\displaystyle n=\Omega \left({\frac {\log m}{\epsilon ^{2}}}\right)}
这么多的维数。

### 证明提要

定理可以用高年级本科生容易理解的方法证明，其思路是证明如下事实：多次独立地重复进行随机投影的试验，每次试验中随机抽取的投影{\displaystyle f\_{0}:\mathbb {R} ^{N}\to \mathbb {R} ^{n}}都有至少1/n的概率符合定理中对映射f全部的要求(显然，验证任何一个f\_0是否符合这些要求只需O(n^{2})时间)，因此只要重复该独立实验{\displaystyle \omega (n)}次就能以逼近100%的概率产生至少一个符合要求的映射f。

参考文献
----

1. ↑  Johnson, William B; Lindenstrauss, Joram.. Contemporary mathematics. 1984, **26** (1): 189-206.
2. ↑  Devdatt Dubhashi.  (PDF). simons.berkeley.edu.  [2018-11-13]. （原始内容存档 (PDF)于2020-10-27）.
3. ↑  Suresh Venkat.. cstheory.stackexchange.com.  [2018-11-13]. （原始内容存档于2020-11-25）.
4. ↑  Krahmer, Felix; Ward, Rachel.. SIAM Journal on Mathematical Analysis. 2011, **43** (3): 1269--1281.
5. ↑  Akselrod-Ballin, Ayelet; Bock, Davi and Reid, R Clay and Warfield, Simon K.. IEEE transactions on medical imaging. 2011, **30** (7): 1427--1438.  引文使用过时参数`coauthors` (帮助)
6. ↑  Paul Beame.  (PDF). courses.cs.washington.edu.  [2018-11-13]. （原始内容存档 (PDF)于2017-04-01）.
7. 1 2 3  Dasgupta, Sanjoy; Gupta, Anupam.. Random Structures & Algorithms. 2003, **22** (1): 60--65.
8. ↑  Sariel Har-Peled.  (PDF). sarielhp.org.  [2018-11-13].
9. 1 2  Roman Vershynin.. Cambridge University Press. 2018-08-01. ISBN 9781108415194.  使用`|accessdate=`需要含有`|url=` (帮助)
10. ↑  Alon, Noga.. Discrete Mathematics. 2003, **273** (1-3): 31--53.
11. ↑  Larsen, Kasper Green; Nelson, Jelani.. 2017 IEEE 58th Annual Symposium on Foundations of Computer Science (FOCS). IEEE: 633––638. 2017.  引文使用过时参数`coauthors` (帮助)
12. ↑  Michael Mahoney.  (PDF). cs.stanford.edu.  [2018-11-13]. （原始内容存档 (PDF)于2015-12-13）.