十五年（1750年）二月，皇长子永璜逝世，祭祀刚开始，张廷玉即请求南归。高宗更加愤怒，命令书写配享太庙诸臣之名给张廷玉看，命他思考是否应该配享。张廷玉惶恐，上书请求罢免配享并治罪。高宗听从大学士和九卿之议，罢免其配享，不予治罪。七月，张若澄妻父朱荃在四川学政任内，因隐瞒母丧消息，“匿丧赶考”，此案牵连张廷玉。高宗决定收回三代皇帝对张廷玉的一切赏赐，以示惩罚。干隆二十年四月初八日（1755年5月19日）张廷玉在家中去世，享寿八十二岁。干隆帝仍遵照其父世宗皇帝的遗诏，让他配享太庙，谥文和，灵柩安葬于龙眠山文