北中郎参军、太子中舍人、吴郡中正、车骑从事中郎、中书郎、扬州治中、黄门郎。宋明帝每次见到张绪，感叹他清新淡雅。张绪历任太子中庶子、扬州大中正，转任司徒左长史。吏部尚书袁粲劝明帝「臣见张绪有正始遗风，可以担任宫职」。张绪再任太子中庶子，兼翊军校尉。受散骑常侍，兼长水校尉。兼侍中，擢升为吏部郎，参掌官吏选举。宋后废帝元徽元年（473年），退任东宫官。他推荐王俭为秘书丞。受侍中。袁粲、褚渊辅政，张绪出任吴郡太守。后来任祠部尚书，再兼中正。转任太常，加散骑常侍。兼始安王师。昇明二年（478年）担任萧道成属下