渐近等同分割特性

在信息论中，渐近等同分割特性（AEP）是随机源输出样本的普遍性质，它是数据压缩理论中典型集概念的基础。
简言之，该定理指出：尽管随机过程可能产生多种结果序列，但实际出现的结果极大概率来自一个松散定义的集合——该集合中所有结果成为现实的可能性基本均等（这是大数定律与遍历理论的推论）。尽管存在某些单个结果的概率高于此集合中的任意结果，但集合内庞大的结果数量几乎保证了最终结果必将源自该集合。克莱默大偏差定理为理解该特性提供了一种直观路径：偏离均值的程度越大，其概率随样本数量增加呈指数级衰减（这类现象由大偏差理论专门研究）。直观来说，大偏差现象可能违背等概率分配原则，但这类情况几乎不可能发生。
在伪随机数生成领域，如果候选生成器的输出序列质量不确定，且根据某些统计标准，其输出序列偏离典型值过远，则会被视为随机性不足而遭到拒绝。因此，尽管典型值的定义较为宽泛，但在实际应用中，关于"充分"典型性的概念已逐渐兴起。
定义.
给定一个概率空间formula_1 上的离散时间平稳遍历随机过程formula_2，渐近均分性质断言：几乎必然，对于所有离散时间平稳过程（包括遍历过程）都有formula_3时，formula_4其中formula_5（简写为formula_6）表示formula_2的熵率。对于有限值（即formula_8 ) 平稳遍历随机过程的情况，渐近均分性质在香农-麦克米伦-布莱曼定理中使用遍历理论得以证明。对于任何独立同分布源，不论是在离散值情况下（其中formula_6仅仅是符号的熵）还是在连续值的情况下（其中formula_6是微分熵），该性质都可以直接使用大数定律得以证明。（见下文）渐近均分性质的定义也可以扩展到某些连续时间随机过程，这些过程在足够长的观察时间内存在一个典型集。在所有情况下，收敛性被证明是几乎必然的。
离散时间独立同分布源.
令formula_2是一个可以采用字母表formula_12中的值的独立同分布源 ，其时间序列formula_13独立同分布，熵为formula_5。可以由弱大数定律得到依概率收敛渐近均分性质，即formula_15这是因为熵等于formula_16的期望。
强大数定律断言了更强的结论，formula_17几乎必然收敛于熵， 即formula_18L1意义上的趋同表明formula_19
离散时间有限值平稳遍历源.
下面考虑有限值样本空间formula_20的情况， 即formula_8，对于在概率空间formula_1上定义的离散时间formula_23，由克劳德·香农、和提出的香农-麦克米伦-布莱曼定理指出，formula_16在L1意义上收敛于熵。钟开来将此定理推广到以下情况：formula_2可以在可数无穷大集合中取值，前提是熵率仍然是有限的。 
产生独立符号的非平稳离散时间源.
平稳性/遍历性/随机变量同分布的假设对于渐近均分性质的成立并非必要条件。事实上，正如直观上显而易见的那样，渐近均分性质只需要某种形式的大数定律成立，这相当具有普遍性。但在这种情况下，渐进等同分割性质的表达式需要适当推广，条件也需要精确地表述。
考虑一个产生独立符号的源，该源每个时刻可能输出不同的统计量，并且该过程的统计量完全已知，也就是说，该过程在每个时刻的边际分布是已知的。联合分布就是边际分布的乘积。然后，在以下条件下（可以放宽）：对于所有"i"，都有formula_26，对于某些"M"&gt;0，下式（AEP）成立： formula_27其中formula_28
应用.
非平稳离散时间独立过程的渐近均分性质可以推导出非平稳源（具有独立输出符号）的信源编码定理和非平稳无记忆信道的噪声信道编码定理，还能推导出一些其他的结论。
测度论形式.
formula_29是概率空间formula_30上的一个保测度映射。
如果formula_31是formula_30的有限或可数划分，那么它的熵为formula_33，习惯上规定formula_34 。
我们只考虑熵有限的划分，亦即formula_35。
若formula_31是formula_30的有限或可数划分，我们通过迭代映射构建一个划分序列： formula_38其中formula_39是最小上界划分，即能细化formula_31和formula_41的最低细化划分： formula_42记formula_43所处的formula_31中的集合为formula_45。例如，formula_46是formula_43的formula_48名称的前formula_49符号初始段。
如果我们知道formula_43落在划分formula_31的哪个元素中，令formula_52为我们可以恢复的关于formula_43的信息量（以纳特为单位）： formula_54类似地，划分formula_31以划分formula_41为条件关于formula_43的条件信息是formula_58formula_59是Kolmogorov-Sinai熵（测度论熵）formula_60换句话说，根据定义，期望存在收敛。SMB定理指出，当formula_29是遍历的，在L1中收敛。
 &lt;/math&gt;在L1中收敛于常数函数formula_62.
换而言之，formula_63.
特别的，由于L1收敛意味着几乎必然收敛，以概率1formula_64.
如果𝑇不一定具有遍历性，那么基础概率空间将被分解为多个在𝑇下不变的子集。在这种情况下，我们仍能获得向某个函数的L1收敛，但该函数不再是一个常值函数。
 &lt;/math&gt;L1收敛至
formula_65
当formula_29遍历时， formula_67是平凡的，所以函数formula_68简化为常数函数formula_69，根据定义，上式等于formula_70，根据命题，它等于formula_59。
连续时间平稳遍历源.
离散时间函数可以插值为连续时间函数。若此类插值函数"f"可测，则我们可将插值后的连续时间平稳过程定义为formula_72。若离散时间过程（如上文所示的独立同分布或有限值平稳遍历情形）满足渐近等同分割特性，则该特性自然地适用于通过可测插值导出的连续时间平稳过程，即formula_73其中"n"对应于时间的自由度。和是分别香农定义的单位时间熵和单位自由度熵。
此类连续时间平稳过程的一个重要类别是带限平稳遍历过程，其样本空间是连续formula_74函数的子集。若该过程为白过程（此时时间样本呈独立同分布），或存在T &gt; 1/2"W"（其中"W"为标称带宽）使得T间隔时间样本取值于有限集合（此时转化为离散时间有限值平稳遍历过程），则渐近等同分割特性成立。
任何时不变操作也会保留渐近均分性质、平稳性和遍历性，并且我们可以通过消除过程中有限数量的时间样本，轻松地将平稳过程转变为非平稳过程，而不会丢失渐近均分性质。
范畴论.
格罗莫夫给出了渐近等同分割特性的范畴论定义。给定测度空间"P"的笛卡尔幂序列formula_75，，该序列允许一个渐近等价的齐性测度空间序列"HN" （即所有集合具有相同的测度；所有态射在自同构群下不变，因此可分解为指向终对象的态射）。
上述内容需要定义渐近等价性。该定义通过一个距离函数给出，用于度量单射对应与同构之间的差异。单射对应formula_76是一个部分定义的双射映射；也就是说，它是子集formula_77和formula_78之间的双射。然后定义formula_79其中|"S"|表示集合"S"的测度。在下文中，默认"P"和"Q"的测度取1，因此这些测度空间都是概率空间。该距离formula_80通常被称为动土距离或沃瑟斯坦度量。
类似地，定义formula_81其中formula_82被视为"P"上的计数测度。因此，此定义要求"P"为有限测度空间。最后，令formula_83
那么当formula_84时，单射对应formula_85是渐近等价的。
给定一个渐近等价于"PN"的齐次空间序列"HN" ，则"P"的熵"H"("P")可以取为formula_86