正在免官之时，宋文帝下令北伐，臧质白衣联同骠骑司马王方回进攻许洛一带，途中臧质知道率领东线军队的王玄谟无法攻下滑台（今河南滑县），遂自请接手进攻，但被宋文帝拒绝。后北魏太武帝拓跋焘率大军反攻，王玄谟于滑台兵败撤退，魏军接着长驱直入，逼近重镇彭城（今江苏徐州市），宋文帝虑及根本召回诸军，并任命臧质为辅国将军、假节、置佐，率领万人北救彭城。不过，臧质到盱眙（今江苏盱眙）时魏军就已绕过彭城，并南渡淮河，臧质怕逼近的魏军会佔据盱眙城东的高山，遂命胡崇之、臧澄之及毛熙祚分率三营驻于山上，臧质就在山南驻紥。魏军攻到时先