视其才，因为其孙万弘璧与李文祥同榜，于是在家里款待他，李文祥则内心不满，在题词言语中暗语讽刺，万安怨恨甚深。不久，明孝宗继位，李文祥上疏批评政局。宦官以及内阁大臣万安、刘吉、尹直等读后，对他非常厌恶。贬为陕西咸宁县丞，南京主事夏崇文论救未果。工部主事林沂复请召李文祥、汤鼐、陈献章、谢铎等。当时朝廷大臣亦多为举荐，但被刘吉、尹直阻挠。弘治二年（1489年），经尚书王恕举荐，李文祥升任兵部主事，坚拒属下行贿。到职不到一月，又因为吉人案而下狱，贬为贵州兴隆衞经历。都御史邓廷瓒征苗族叛乱，询问其用兵之道，并