最小描述长度原则是将奥卡姆剃刀形式化后的一种结果。其想法是，在给予假说的集合的情况下，能产生最多资料压缩效果的那个假说是最好的。它是在1978年由所引入的。在资讯理论和计算机学习理论中，最小描述长度原则是个重要观念。任一资料集都可以由一有限（譬如说，二进位制的）字母集内符号所成的字串来表示。"最小描述长度原则背后的基本想法是：在任一给定的资料集内的任何规律性都可用来压缩。亦即在描述资料时，与逐字逐句来描述资料的方式相比，能使用比所需还少的符号"（Grünwald, 1998。见底下的链结）。既然我们希望