史询问郡县上纳米粮之事，张绪萧然直视都令史，不以经怀。之后历任巴陵王文学、太子洗马、北中郎参军、太子中舍人、吴郡中正、车骑从事中郎、中书郎、扬州治中、黄门郎。宋明帝每次见到张绪，感叹他清新淡雅。张绪历任太子中庶子、扬州大中正，转任司徒左长史。吏部尚书袁粲劝明帝「臣见张绪有正始遗风，可以担任宫职」。张绪再任太子中庶子，兼翊军校尉。受散骑常侍，兼长水校尉。兼侍中，擢升为吏部郎，参掌官吏选举。宋后废帝元徽元年（473年），退任东宫官。他推荐王俭为秘书丞。受侍中。袁粲、褚渊辅政，张绪出任吴郡太守。后来任祠部