柯氏复杂性

title: 定义.
content: 柯氏复杂度可以适用于任何数学概念,但是本文只针对字符串。首先需要确定我们用以描述字符串的语言,它可以基于任何计算机语言,例如LISP、Pascal或Java字节码。如果 P 是一个可以输出字符串 "x"的程序,则 P 是 "x"的描述。描述长度就等于程序 P 作为字符串的长度,乘上每个字符的比特数。(例如,对于 ASCII来说是7)  我们也可以使用图灵机的编码。每一个图灵机 M 都对应一个字符串 <M>。如果 M 是一个图灵机,给它输入字符串 "w" 它会输出字符串 "x",那么这段拼合起来的字符串 <M>+"w" 就是 "x"的描述。这种描述更适合比较严谨的证明,通常是在正式研究中才会使用。在本文的讨论中会使用比较非正式的描述。  对于任何一个字符串 "s",都存在至少一个描述。可以用以下程序表示:  如果 "s" 的描述 "d"("s") 长度达到最小(即使用最少的比特数),它就可以称为 "s" 的“最小描述”。同时,"d"("s")的长度(也就是这个描述使用的比特数)就是 "s"的“柯氏复杂度”,写作 "K"("s")。可以表示为:  最小描述长度取决于选择什么语言来描述;但是改变描述语言所带来的长度变化是有限的,这个属性称作不变性理论(英语:invariance theorem)。
title: 不变性理论.
title: 非正式表述.
content: 一些描述语言可以被称作“最优的”(英语:optimal)。它们有如下属性:给定任意一个描述语言来描述一个对象,我们也可以用最优描述语言来描述该对象,只需要在原来的那段描述前面加上一段固定的前缀。这段前缀仅仅取决于使用哪一种描述语言,不取决于对对象的描述,也不取决于被描述的对象。  以下是“最优描述语言”(英语:Optimal description language)的一个例子。这个语言中的描述都会包括以下两部分:  更技术性的说法是,第一部分是一段计算机程序,如果把第二部分输入这个程序,就会输出该对象。  不变性理论指的是:对于任意的描述语言 "L",最优描述语言都至少和 "L" 同样有效,但是会增加一段固定的前缀。  证明: 对于以"L"作为描述语言的任意一段描述 "D","D" 都可以转换成为最优描述语言下的一段描述,这段描述包括将 "L" 描述为一段计算机程序 "P" (前面提到的第一部分),然后将原来的描述 "D" 作为这段程序的输入(第二部分)。新的描述 "D" ’ 的长度(近似值)为:  "P" 的长度为常数,不取决于 "D",所以,至多有一个常数项长度的前缀,不取决于描述对象。所以,最优描述语言在up to固定前缀的意义上是通用的。
title: 更正式的描述.
content: "'定理"':设 "K" 和 "K" 是满足 图灵完备性的描述语言 "L" 和 "L"的复杂度函数,则存在一个常数 "c",仅取决于对于语言 "L" 和 "L" 的选择,有:  证明:根据对称性,可以证明存在一个常数 "c" 对于所有的字符串 "s" 满足:  然后,假设语言 "L" 中存在一个程序,相当于是 "L" 的解释器:  其中 "p" 是 "L" 中的一个程序。解释器有以下属性:  然后,设 "L" 中的程序 P 是 "s" 的最小描述,则 codice_1(P) 将会返回字符串 "s"。而 "s" 的描述长度,是以下两项之和:  以上证明了所需的上界。
title: 历史与背景.
content: 算法信息论是计算机科学中的一个领域,研究柯氏复杂性和其他对于字符串(或者其他数据结构)的复杂性度量。  柯氏复杂性的理论和概念基于雷·所罗门诺夫的一些关键性理论。1960年,所罗门诺夫发表了《归纳推理的通用性理论导论》,作为他所创立的算法概率论的一部分。在1964年发表的《信息与控制》的第一和第二部分 “归纳推理的正式理论” 中,他给出了一个更完整的描述。  安德雷·柯尔莫戈洛夫稍后于1965年在 "Problems Inform. Transmission" 上独立发表了这一理论。格里高利·柴廷也在 "J. ACM" 上发表了这一理论——柴廷的论文提交于1966年10月,于1968年12月修订,引用了所罗门诺夫和柯尔莫戈洛夫的论文。  这个理论认为,在所有从对字符串的描述中解码出字符串的算法里,存在一个最优的算法。这个算法对于所有的字符串来说,都可以得到和其他算法同样短的代码,除去一段固定的附加代码,这段代码不取决于字符串,只取决于所选择的算法。所罗门诺夫用这个算法和它所允许的代码长度,定义了一个字符串的“普适概率”英语:universal probability,以对字符序列的归纳推断作为基础。柯尔莫哥诺夫利用这个理论定义了字符串的很多属性,包括复杂度、随机度和信息。  当柯尔莫戈洛夫了解到所罗门诺夫的工作之后,承认了所罗门诺夫的发现在先。在很长一段时间内,所罗门诺夫的工作在苏联比在西方更为人知晓。科学界的共识一般是把和复杂度有关的工作归功于柯尔莫戈洛夫,因为他主要研究序列的随机程度;而算法信息论的工作则归功于所罗门诺夫,他主要集中研究用普适概率分布来进行序列预测。这两个领域的边界,包括描述复杂度和概率通常被称为柯尔莫戈洛夫复杂度。计算机科学家李明认为这是马太效应的体现。  柯尔莫戈洛夫复杂度或者算法信息论有很多变体,其中一个广泛应用的概念是“自生成程序”英语:self-delimiting-program,主要来自于里奥尼德·列文(1974)。  Mark Burgin基于布鲁姆公理(Blum 1967),对于柯氏复杂度进行了公理化(Burgin 1982)。
title: 基本结论.
content: 在以下讨论中,我们用 "K"("s") 来表示字符串 "s" 的复杂度。  显而易见,一个字符串的最小描述不可能超过字符串本身的长度太多。上文中的程序codice_4 可以输出 "s",长度比 "s" 稍长。  定理:存在一个常数 "c",使得:
title: 柯氏复杂性的不可计算性.
content: 定理:存在字符串,拥有任意大的柯氏复杂度。严格表述为:对于任意 "n" ∈ N,存在一个字符串 "s" 的复杂度 "K"("s") ≥ "n"  证明:反证。如果定理不成立,则任意的无限长字符串,都可以使用有限个数,复杂性小于 "n" 比特的程序 来生成了。  定理: "K" 不是一个可计算函数。也就是说,不存在一个程序,可以把字符串 "s" 作为输入,然后输出它的 "K"("s")。  证明:以下的反证法将使用类似Pascal语言的代码。为了证明的简单起见,该语言的描述(即其解释器)大概有 比特。下面开始反证法,假设有这样一个程序存在:  它可以把字符串 "s" 作为输入,然后输出它的 "K"("s");简单起见,假设这一函数的长度是 比特。现在考虑另一段长度为 比特的程序:  它将 codice_5 作为子程序,这个程序会从短到长检查所有的字符串,直到找到一个复杂度至少有 比特的字符串 "s" 。这也就意味着,任何短于 比特的程序都不可能输出这个字符串。但是,以上的整个程序能够输出 "s",而其长度却只有 比特,反证完毕。(如果 codice_5 的代码要更短一些,反证依然成立。如果它要更长,那么 codice_7 中使用的常数也可以相应变大。)  以上使用的反证法类似于佩里悖论:“不 能 用 少 于 二 十 个 字 定 义 的 最 小 整 数”。也可以使用停机问题 "H" 的不可计算性来推导 "K" 的不可计算性,因为 "K" 和 "H" 是图灵等价的。  它的一个结论,在程序员群体中被幽默地称为充分就业定理,其涵义之一是指不存在一个最优的规模优选编译器。
title: 柯氏复杂性的链式法则.
content: 柯氏复杂性的链式法则,是指:  它说明,能够输出 "X" 和 "Y" 的最短程序,相当于输出 "X" 和已知 "X" 的情况下可以输出 "Y" 的程序之和再加上一个对数参数。使用这个法则,可以定义柯氏复杂性的互信息近似。
title: 数据压缩.
content: 计算 "K"("s")的上界很简单:只需要使用某种算法压缩字符串 "s",再把所选语言中的压缩算法加上压缩后的字符串,它们的和就是长度上界。其实这就相当于给定语言中的自解压缩档。  如果一个字符串 "s" 的一个描述长度不超过 |"s"|−"c" 比特,则可以说这个字符串可以被压缩掉 "c" 。这相当于说 "K"("s") ≤ |"s"|-"c"。否则的话,我们就说 "s" 不能被压缩掉 "c" 。如果一个字符串不能被压缩掉1,那么我们就说这个字符串是 "不可压缩的" 。根据鸽巢原理,每一个压缩后的字符串对应唯一的压缩前的字符串,所以不可压缩串一定存在。因为长度为 "n" 的字符串有 2 个,但是只存在 2 - 1 个长度小于 "n" 的字符串, (i.e. 长度可能为 0,1...,"n − 1)。  由于同样的理由,大部分的字符串都是复杂的,也就是说难以被显著地压缩,它们的 "K"("s")并不比 |"s"|, "s"的长度小多少。准确地说,对于任意的 "n",有 2 个长度为 "n" 的字符串。在这些字符串的样本空间中的离散型均匀分布表明,对于每一个长度为 "n" 的字符串,权重为 2 。  定理:对于长度为 "n" 的字符串组成的样本空间的离散型均匀分布来说,一个串不能被压缩以 "c" 的概率至少为 1 - 2 + 2。  证明:所有描述长度不超过 "n"-"c" 的字符串的数量,可以由以下等比数列得到:  那么,还剩下至少:  个长度为 "n" 的字符串不能够被压缩以 "c" 。对于单个字符串的概率,应该除以 2 。
title: 柴廷不完全定理.
content: 我们已经知道,在所有可能的字符串里,大部分的串都是复杂的,也就是说它们不能被显著地压缩。然而,如果一个串的复杂度超过了某个阈值,则它不能被形式化地证明为复杂的。形式化的证明如下:首先,为自然数建立一个公理系统 S 。这个公理系统需要足够强,可以判定关于字符串复杂度的断言 A,并且和 S 中的 F 相关联。这个关联需要有以下属性:  如果 F可以被 S 中的定理证明,则相对应的断言 A 为真。这个「形式化」可以用人工编码例如哥德尔数的方法实现,或者依照对于 S 的预期解释来进行形式化。  定理:存在一个常数 "L" ( "L" 仅取决于特定的公理系统以及描述语言的选择),使得没有任何一个 "s" 满足以下情况:  可以在公理系统 S 中证明。  考虑到占多数的几乎不可压缩的串,大部分这样的情况都会成立。  这个结论的证明脱胎于佩里悖论中使用的自指结构。使用反证法,如果定理不成立,则:  我们可以使用以下方式列举 S 中的所有形式化证明  它接受输入 "n",然后输出一个证明。这个函数会列举所有的证明,有一些证明是针对我们并不关心的一些公式,尽管在 S 的语言中所有可能的证明都是关于某个 "n" 的。其中有一些证明是针对复杂度公式 "K"("s") ≥ "n",其中 "s" 和 "n" 都是语言 S 中的常数。以下程序  可以确定,第 "n" 个证明是否证明了复杂度公式 "K"("s") ≥ "n"。字符串 "s" 和整数 "L" 分别可以由以下程序计算:  考虑以下程序:  对于给定的 "n",这个程序会尝试所有的证明,直到找到一个字符串以及 S 中关于公式"K"("s") ≥ "L" (其中 "L" ≥ "n")的形式证明。如果假设(X)成立,那么这个程序会停止。这个程序的长度为 "U". 存在一个整数 "n" 使得 "U" + log("n") + "C" < "n",其中 "C" 是以下程序的前缀:  (注意 "n" 是直接包含在以上函数中的,而前面的 log("n") 已经包含了它) 程序 GenerateProvablyParadoxicalString 输出的字符串 "s",存在一个 "L" 使得 "K"("s") ≥ "L" 可以在 S 中形式化证明,且 "L" ≥ "n"。所以,"K"("s") ≥ "n" 成立。但是, "s" 也可以被长度为 "U" + log("n") + "C" 的程序描述,所以它的复杂度小于 "n"。以上矛盾证明了 假设 (X) 不能成立。

Summary: 在算法信息论(计算机科学和数学的一个分支)中,一个对象比如一段文字的柯氏复杂性(亦作柯尔莫哥洛夫复杂性、描述复杂性、柯尔莫哥洛夫-柴廷复杂度、随机复杂度,或算法熵)是衡量描述这个对象所需要的信息量的一个尺度。柯氏复杂性是由安德雷·柯尔莫哥洛夫于1963年发现,所以用他的名字命名。

Kolmogorovská složitost: Kolmogorovská složitost je pojem z oboru teoretické informatiky, přesněji z algoritmické informační teorie. Pro daná data se jí rozumí délka nestručnějšího počítačového programu (v předem daném programovacím jazyce), který taková data dokáže vygenerovat. Přesná hodnota složitosti různých dat je určena tím, jaký programovací jazyk je zvolen, ovšem volba jazyka má jen omezený vliv.