后退居长安宫修道，称为静慈仙师，实质上等同于废后。朝中大臣张辅、蹇义、夏原吉、杨士奇、杨荣等都为这件事争论不已，但宣宗仍执意废后，并改立所宠的孙贵妃为皇后。宣宗生母张太后怜悯贤德的胡氏，常召胡善祥居住清宁宫。内廷朝宴的时候，也将胡氏的座席安排在孙皇后之上，而且一切生活规格仿照皇太后待遇。孙皇后为此怏怏不乐。宣宗临死，回顾当年废后之事，自解曰：“此朕少年事”。正统七年十月，一向维护胡善祥的张太皇太后崩逝，胡氏痛哭不已。正统八年正月，胡善祥的女儿顺德公主薨。胡善祥同年亦仙逝，以嫔御之礼葬于金