任詹事府少詹事，然而终不自安，借病辞职归乡。嘉靖六年（1527年），召修《明伦大典》，随后命署大理寺事。同年九年，升任礼部右侍郎兼翰林院学士，直经筵日讲官。又代替桂萼为吏部左侍郎，升任礼部尚书。《明伦大典》书成，加封太子太保，后辞官举荐梁材、汪鋐、王廷相，而自己隐居西樵山，搆筑石泉精舍，“藏书甚富。”，讲学于石泉书院。嘉靖十一年（1532年），重新起用担任礼部尚书兼武英殿大学士，进入内阁辅政。此后吏部尚书王琼去世，方献夫掌管吏部。之后再次被弹劾离职。嘉靖二十三年（1544年）去世，赠太保，谥文襄。