谏皇帝严守礼法的行为，引起了宣宗的反感，导致“上稍厌后”。宣宗只宠爱孙贵妃。宣德三年（1428年）春，孙贵妃生下宣宗长子明英宗（一说收养了宣宗与宫女所生之子）。于是给了宣宗和孙贵妃借口。宣宗即以胡皇后“无子多病”为由，命令胡皇后上表辞位，于是胡皇后退居长安宫修道，称为静慈仙师，实质上等同于废后。朝中大臣张辅、蹇义、夏原吉、杨士奇、杨荣等都为这件事争论不已，但宣宗仍执意废后，并改立所宠的孙贵妃为皇后。宣宗生母张太后怜悯贤德的胡氏，常召胡善祥居住清宁宫。内廷朝宴的时候，也将胡氏的座席安排在孙皇后之上，而