长兄为张玉裁。自幼刻苦读书，清顺治十八年（1661年）进士，历任翰林院编修、国子监司业、侍讲学士，官至文华殿大学士兼户部尚书。康熙三十五年（1696年），随皇帝征噶尔丹叛乱。历官五十年，为太平宰相二十年，朝廷依以为重。康熙十八年（1679年）主持修《明史》，先后出任《平定朔漠方略》、《佩文韵府》（1704年—1711年）、《康熙字典》的总裁官。康熙四十九年（1710年），告病辞官，仍慰留在朝。康熙五十年（1711年），以七十岁高龄随康熙至热河，五月十八日病死塞外，谥文贞。着有《文贞集》。有子张逸