加少保兼太子太傅，之后接连弹劾不依附其的官员。嘉靖八年（1529年）以本官兼武英殿大学士，入内阁参赞机务。其升迁之速，史上罕见。同年八月，因恐被弹劾，自请退休，同年九月复奉召回京，帝赞为“俊彦宿学”，赐银质印章两方，一刻“忠诚敬慎”；另一镌“绳愆匡违”。嘉靖十年（1531年）正月以疾归，八月卒于家中，葬于安仁七都杨源塘（今锦江镇铁山山底邱家村），清同治年间尚存有墓志铭。追赐太傅，谥文襄。
着作.着有《历代地理指掌》、《明舆地指掌图》、《桂文襄公奏议》。