此后被弹劾罢免。嘉靖三年，大礼议方定，吏部尚书杨旦赴召，途中弹劾张璁、桂萼，张璁、桂萼一党的陈洸遂弹劾杨旦而举荐廖纪，明世宗遂罢免杨旦，以廖纪取代。廖纪则上疏推辞道：“臣已经七十岁，精力不如乔宇，聪明不如杨旦。”当时世宗正厌恶此两人，遂没有批准。光禄署丞何渊请建世室，祀兴献帝，下廷议，廖纪持不可。此后三边总督杨一清召还内阁，张璁等欲起用王琼，廖纪则举荐彭泽、王守仁，世宗没有批准。此后则以邓璋、王宪名上，竟用王宪。嘉靖五年正月，御史张衮、喻茂坚、朱实昌以世庙礼成，请宽恕大礼议中得罪的诸臣，张璁、桂萼亦以为请，