选举。宋后废帝元徽元年（473年），退任东宫官。他推荐王俭为秘书丞。受侍中。袁粲、褚渊辅政，张绪出任吴郡太守。后来任祠部尚书，再兼中正。转任太常，加散骑常侍。兼始安王师。昇明二年（478年）担任萧道成属下太傅长史，加征虏将军。昇明三年（479年），萧道成为齐王，建齐国，张绪受位散骑常侍、世子詹事。同年（建元元年），萧道成即帝位，建立齐朝，张绪转任中书令。萧道成以张绪名望之重，深表敬意。张绪加号骁骑将军。萧道成想要任用张绪为尚书右仆射，王俭表示反对。建元四年（482年），立国学，张绪担任太常卿，兼国子祭酒