张镜说：「这个孩子，是现在的乐广」。扬州征召为议曹从事，举秀才。历任建平王护军主簿、右军法曹行参军、司空主簿、抚军南中郎二府功曹、尚书仓部郎。都令史询问郡县上纳米粮之事，张绪萧然直视都令史，不以经怀。之后历任巴陵王文学、太子洗马、北中郎参军、太子中舍人、吴郡中正、车骑从事中郎、中书郎、扬州治中、黄门郎。宋明帝每次见到张绪，感叹他清新淡雅。张绪历任太子中庶子、扬州大中正，转任司徒左长史。吏部尚书袁粲劝明帝「臣见张绪有正始遗风，可以担任宫职」。张绪再任太子中庶子，兼翊军校尉。受散骑常侍，兼长水校尉。兼侍中，