描述长度理论的领域中，比较常用的是侯选假说、模型或代码。允许使用的代码集合则被称为模型类别。（有些作者则模型类别指为模型，这会令人混淆）于是代码描述及借助于这代码的资料描述的加总是最小的那个代码会被选取。最小描述长度的一个重要特性是，它提供了一个避免过适现象的保护装置。这是因为它在假说复杂度和已知假说下的资料复杂度之间做了取舍。要理解为什么这是对的，可以考虑以下的例子。假设你抛掷一个铜板一千次，且你观察到了正反面的个数。我们考虑两种模式类别：第一种是对每个结果，以0表正面及1表反面的方式来编码。这代码所