好学，在梁朝为秘书郎，遍览兄长张缅有书万余卷，昼夜披读，殆不辍手，进而遍观内阁图书。尝执四部书目说：“若读此毕，乃可言优仕矣。”秘书郎为甲族起家之选，居职数十百日便迁任。张缵欲遍观阁内图籍，固求不徙，几年后转任太子舍人，历任南兰陵郡太守、度支尚书，后任吴兴郡太守。为政省烦苛，务清静，民吏称便。大同二年（536年），征为吏部尚书，为人负才任气，选官引荐寒门有能之士，不媚权贵，为时人所称。大同五年（539年）为尚书仆射，制定御乘车辇及官服印绶之制。他与尚书令何敬容不和，大同九年（543年）出为湘州刺史，在州省并