奉命转讨汝南西方的山蛮，终大破蛮族，俘获万多人。事后转任太子左衞率，可是就因被指攻打蛮族时枉杀队主严祖以及收纳男宠牲口，遂被免官。正在免官之时，宋文帝下令北伐，臧质白衣联同骠骑司马王方回进攻许洛一带，途中臧质知道率领东线军队的王玄谟无法攻下滑台（今河南滑县），遂自请接手进攻，但被宋文帝拒绝。后北魏太武帝拓跋焘率大军反攻，王玄谟于滑台兵败撤退，魏军接着长驱直入，逼近重镇彭城（今江苏徐州市），宋文帝虑及根本召回诸军，并任命臧质为辅国将军、假节、置佐，率领万人北救彭城。不过，臧质到盱眙（今江苏盱眙）时魏军就已绕