初，授监察御史，历官江西按察使司副使、陕西左布政使。成化三年（1467）担任右副都御史巡抚宁夏。后因父丧丁忧，除服后，起用巡抚河间等地，改大同巡抚，之后历任刑部右侍郎、刑部左侍郎。成化十八年（1482）升任刑部尚书。次年加太子少保。又过一年，因丁忧归乡。弘治元年（1488年）担任南京兵部尚书，卒于任上，赠太子太保，谥庄懿。
佚事.张蓥为人宽厚。任监察御史时，巡按山东，初到临清，路过酒家旗标悬挂过低，将其乌纱帽打落，人以为不吉，张蓥不以为意。次日，当地知州将酒家押来官署请罪，张蓥仅温