之后，成化帝视察内帑，见前朝七窖金子都用光了，对梁芳和韦兴说：“糜费帑藏，实由汝二人。”韦兴不敢对。梁芳说：“建显灵宫及诸祠庙，为陛下祈万年福耳。”成化帝不高兴：“吾不汝瑕，后之人将与汝计矣”。梁芳非常害怕，劝说万贵妃劝皇帝废太子朱祐樘，而立兴王朱祐杬。泰山地震，占卜的人说「应在东宫」。成化帝害怕，停止废立之计划。朱祐樘即位为明孝宗，梁芳谪居南京，后来下狱，韦兴也被斥退。正德初年，宦官们再次推荐韦兴司香太和山，兼分守湖广行都司地方。尚书刘大夏、给事中周玺、御史曹来进谏，明武宗不听。韦兴遂复用，而梁芳最终废死