已经得罪，王琼、梁储已经罢免，吴廷举借以诋毁蒋冕，蒋冕遂求罢。明世宗则降吴廷举为南京工部侍郎，而挽留蒋冕。嘉靖元年，吴廷举乞休。改南京户部右侍郎，迁右都御史，巡抚应天诸府。嘉靖三年（1524年），因大礼议事定，吴廷举揣测世宗心意而奏定称本生考。给事中张原、刘祺因此交劾弹劾他，世宗没有批报。再改南京工部尚书，吴廷举辞不拜，称疾乞休。及卒，总督姚镆治其丧。隆庆年间，追谥清惠。
着作.有《西巡类稿》八卷。
家族.曾祖吴源富；祖父吴贵宗；父吴英、母骆氏。