在扶乩时称“今日有奸臣奏事”，刚好严嵩路过。世宗对严嵩父子日久生厌。严嵩失势后，严世蕃被弹劾而流放，刑部尚书黄光升及大理寺卿张守直等要弹劾严世藩害死杨继盛和沈鍊。徐阶将此条删去，避免嘉靖皇帝疑心大臣们在责怪皇帝，但徐阶祭出了杀手锏，弹劾严世藩南通倭寇头目汪直，北通蒙古，意图叛变。严世蕃一得知此捏造之罪名，哭喊：「必死矣」，最终被判斩首。而严嵩则被没收家产，削官还乡，无家可归，依附墓庐而活，并于两年后病卒。
历史争议.《明史》把严嵩列入奸臣传，说他无他才略，“惟一意媚上，窃权罔利”。