，卫将军谢安开始建立国学，徐、兖二州刺史谢玄举荐臧焘为助教。后来顾虑母亲年老，家中贫穷，臧焘跟弟弟臧熹一起放弃仕途，以耕种谋生，自己节约而供养双亲十多年。父母去世后，臧焘守丧六年，以居丧过哀而出名。守丧期满后，被任命为临沂县令。刘裕在家乡京口起兵讨伐桓玄后，臧焘任太学博士，参右将军何无忌军事。义熙初年，随府转镇南参军，不久参刘裕中军军事，入补尚书度支郎，改掌祠部，承袭封爵为高陵亭侯。后来臧焘升为通直郎，复任刘裕镇军、车骑、中军、太尉谘议参军。刘裕北伐关、洛，大司马琅邪王一同出征，任命臧焘为大司马从事