太监尚铭上报，宪宗甚喜，厚加赐赉。汪直听后大怒称尚铭违背其意独擅功。尚铭恐惧，于是偷偷向宪宗上报汪直的过错。宣宗因宠信李孜省，加上万安勾结昭德宫而独揽政权，亦称汪直浸淫，宪宗于是渐渐疏远汪直。成化十八年三月，科道交相弹劾西厂苛察，万安亦称应当罢免西厂，而刘珝持不可。宪宗竟然罢免西厂，朝廷内外官员均欣然大喜，刘珝则有惭色。同年八月，因万安恐汪直为王越所诱，于是请求恢复使用王越，调任镇守延绥，而以都督许宁取代原职。成化十九年（1483年）六月，汪直因为与总兵官许宁不协，巡抚郭镗上报，宪宗于是调任汪直为南