亦即在描述资料时，与逐字逐句来描述资料的方式相比，能使用比所需还少的符号"（Grünwald, 1998。见底下的链结）。既然我们希望选取到的假说能抓到资料中最多的规律，于是我们则寻找压缩效果最佳的假说。若要如此，我们首先要决定一个用来压缩资料的程式代码。最一般的方式是选一个（具有图灵完全特性的）计算机程式语言。我们接着以这个语言撰写一个会输出某笔资料的电脑程式。于是这个程式则能代表此笔资料。而能输出此资料而又最短的程式，其长度被称为此项资料的柯氏复杂性。这是的核心概念，一个将归纳推论理想化后的理论。