昇为张令晖长子。少年有奇节，多方略，读文史，学射箭。出仕后，充幽州节度副将，转左金吾卫大将军。不久充左厢步军大将、兼节度押衙。节度使朱泚想归顺朝廷，张道昇促成其事，于是奉命率二万精骑入朝，被署为行营都知兵马使。唐德宗嘉奖朱泚所为，拜为宰相，不久又任为太尉、兼陇右节度使；以张道昇有辅佐之功，特赐车马、金银、缯彩数以万计。张道昇都置于廊下，令将士使用，一金也不拿进私室，廉洁如此。积功迁特进、开府仪同三司、持节陇州诸军事、陇州刺史（约在贞元末年）、上柱国、南阳县开国伯。卒于长安私宅，年六十七。嗣子张佋，次子张