州大中正，转任司徒左长史。吏部尚书袁粲劝明帝「臣见张绪有正始遗风，可以担任宫职」。张绪再任太子中庶子，兼翊军校尉。受散骑常侍，兼长水校尉。兼侍中，擢升为吏部郎，参掌官吏选举。宋后废帝元徽元年（473年），退任东宫官。他推荐王俭为秘书丞。受侍中。袁粲、褚渊辅政，张绪出任吴郡太守。后来任祠部尚书，再兼中正。转任太常，加散骑常侍。兼始安王师。昇明二年（478年）担任萧道成属下太傅长史，加征虏将军。昇明三年（479年），萧道成为齐王，建齐国，张绪受位散骑常侍、世子詹事。同年（建元元年），萧道成即帝位，建立齐朝，