员外散骑常侍，后又任江夏王刘义恭的抚军参军，但因为为人轻薄不检而被宋文帝嫌恶，调为给事中。会稽长公主刘兴弟多次帮他说话才令宋文帝任命其为建平太守。不过臧质任内甚得当地蛮族归心，时南蛮校尉刘湛受征还朝，也称许臧质是「良守」。后臧质转宁远将军、历阳太守，历迁竟陵、江夏内史及巴东建平二郡太守，都有益于百姓。
对抗北魏.臧质年满三十就屡出外任，不但博览史籍，文思敏捷，而且喜欢谈论军事。一直意欲北伐的宋文帝知道后认为可以给予臧质大任，就征其为使持节、都督徐兖二州诸军事、宁远将军、徐兖二州刺史