（1700年），考中进士，授翰林院检讨，入值南书房，因父母丧事回家。丁忧完毕，改任司经局洗马。历任庶子、侍讲学士、内阁学士。康熙五十九年（1720年），授刑部左侍郎。山东盐贩王美公等纠集众人传教，巡抚李树德命令逮捕惩治，抓住一百五十余人。清圣祖命张廷玉与都统讬赖、学士登德一同审理，杀七人、流放三十五人戍边。次年授吏部左侍郎。
雍正朝.清世宗即位后，张廷玉受命协同掌院学士阿克敦，励廷仪办理翰林院文章之事，不久即提升礼部尚书。雍正元年（1723年），张廷玉复值南书房，与朱轼等人同为诸皇