大雪，泗水冰封，攸之等只能选择徒步南归，很多士兵冻死冻伤，更遭魏军追击，败于吕梁以东，死伤惨重。攸之因此败而被免官，仅以贞阳县公身份领职，镇守淮阴。攸之随即请求明帝再度北征，但被拒绝，他于是干脆入朝陈请，再被拒绝，无望之下只能回镇。六月，攸之亲自押粮增援下邳，并在城池四周挖护城河，并命垣护之将一些人口迁至淮阴。攸之一直留在下邳等待陈显达所率的千人来镇，期间北魏有流言传来，称安都打算归降，请求援军迎接，包括攸之副手吴喜在内的众人皆相信并建议派一千人迎接，随着前来报告这流言的人愈来愈多，吴喜就更确信这流言。不过