文思敏捷，而且喜欢谈论军事。一直意欲北伐的宋文帝知道后认为可以给予臧质大任，就征其为使持节、都督徐兖二州诸军事、宁远将军、徐兖二州刺史。不过任内就因为奢侈生活，胡乱任命而被弹劾。后转建威将军、义兴太守。元嘉二十七年（450年），臧质将要调任南谯王刘义宣的司空司马、宁朔将军兼南平内史，但未上任就遇上北魏大军围攻汝南悬瓠（今河南汝南县），宋文帝遂派臧质驰赴寿阳（今安徽寿县）并统领寿阳军队，联同安蛮司马刘康祖救援坚守的守将陈宪。不久，魏军撤退，臧质奉命转讨汝南西方的山蛮，终大破蛮族，俘获万多人。事后转任太子左衞率