改左春坊左赞善，充东宫讲读官，秩满升右春坊右谕德。弘治元年（1488年），以侍从恩进左庶子庶子兼侍读。内阁三大臣万安、刘吉、刘珝，人称“纸煳三阁老”，张昇因得罪刘吉被调南京工部员外郎。刘吉被罢免后，恢复原职，并历任礼部左右侍郎。弘治十五年，代傅瀚为礼部尚书。正德初年，刘瑾弄权，张昇多次劝阻明武宗嬉游怠政，之后连疏乞休，不允。因忤逆刘瑾而谢病回乡，诏加太子太保。嘉靖初年追谥文僖。着有《易爻用六九说》、《张文僖集》即《柏崖文集》、《诗集》、《和唐诗》等。