连上疏求去获准，并得赐玺书、马车，增加月粮和每年役奴。马文升家居时，无事不去州府。外人谈及时事，他亦皱眉不答。家居三年，刘瑾以马文升与雍泰为朋党为由，除其官籍。正德五年（1510年）六月，马文升去世，终年八十五岁。同年，刘瑾被诛，追复文升官职，特进光禄大夫、太傅，谥端肃。马文升去世一年，民变领袖赵鐩率军进入河南，到了钧州，因为马文升的家在此地，即舍之而去。进攻泌阳，火烧大学士焦芳宅，用草扎成焦芳像碎裂之，说：“恨不为天下杀此贼！嘉靖初年，加赠马文升左柱国、太师。
着作.马文升“