几年后转任太子舍人，历任南兰陵郡太守、度支尚书，后任吴兴郡太守。为政省烦苛，务清静，民吏称便。大同二年（536年），征为吏部尚书，为人负才任气，选官引荐寒门有能之士，不媚权贵，为时人所称。大同五年（539年）为尚书仆射，制定御乘车辇及官服印绶之制。他与尚书令何敬容不和，大同九年（543年）出为湘州刺史，在州省并吏役，抚怀蛮族，四年中户口增益十余万，州境安定。太清二年（548年）转为雍州都督、平北将军、宁蛮校尉。轻慢河东王萧誉。次年，侯景之乱时，张缵逃离湘州，写信对湘东王萧绎称河东王萧誉和岳阳王萧詧同谋讨伐他