求任用新近被淘汰的七人，马文升不接武宗诏书。给事中安奎探听到王瑞受贿，弹劾王瑞。王瑞十分怀恨，诬告马文升违抗圣旨，再下廷议，皆以马文升之言为是，武宗终究不听，马文升因此请求返乡，未得批准。这时，朝政已为宦官刘瑾掌控，马文升年老，终日怀去官之志。时逢两广总督职缺，马文升推举兵部侍郎熊绣，熊绣不愿前往，其同乡御史何天衢就弹劾马文升徇私蒙蔽。于是马文升接连上疏求去获准，并得赐玺书、马车，增加月粮和每年役奴。马文升家居时，无事不去州府。外人谈及时事，他亦皱眉不答。家居三年，刘瑾以马文升与雍泰为朋党为由，除其官籍