器一侧，二级缓存靠近内存一侧。当一级缓存发生失效时，它向二级缓存发出请求。如果请求在二级缓存上命中，则数据交还给一级缓存；如失效，二级缓存进一步向内存发出请求。对于三级缓存可依此类推。通常，更接近内存的缓存有着更大容积，但是速度也更慢。以AMD Opteron X4处理器为例，见右表比较。值得注意的是，无论如何，低级缓存的局部命中率总是低于高级缓存。这是因为数据的时空局部性在一级缓存上基本上已经利用殆尽。
设计考虑.虽然功能类似，但不同级别的缓存在设计和实现上也有不同之处。