Tháng 3 ÂL năm thứ 11 (1532), Hạ Ngôn được cất nhắc làm Lễ bộ Thượng thư, ngày càng được trọng dụng. Nội các đã có Lý Thì, Trạch Loan, dù Phương Hiến Phu được gia nhập, nhưng Phu Kính không thể chuyên quyền như trước nữa. Tháng 8 ÂL, sao chổi xuất hiện ở phương Đông, Gia Tĩnh Đế ngờ có đại thần chuyên quyền, nên Phu Kính xin bãi chức. Đô cấp sự trung Ngụy Lương Bật mắng Phu Kính gian dối, Phu Kính nói rằng ông đã soạn chỉ dụ thay Hoàng đế (nghĩ chỉ) định tội Lương Bật lạm cử quan viên ở Kinh doanh, khiến ông ta chịu mất bổng lộc, đến nay Lương Bật mượn công báo thù riêng. Cấp sự trung Tần Ngao hặc Phu Kính cãi chày cãi cối, ngôn quan cũng kéo nhau luận tội ông để lộ ý định của Hoàng đế, cho rằng Phu Kính không xứng với vai trò của Nội các Thủ phụ. Gia Tĩnh Đế xem trọng lời của Tần Ngao, lệnh cho Phu Kính trần tình, rồi cho ông trí sĩ. Lý Thì xin cấp cho Phu Kính lẫm lệ, sắc thư, đế không cho. Lý Thì xin lần nữa, đế cho Trì truyện đưa Phu Kính về.