胡善祥为人忠厚善良、天性贞一、举止庄重，无媚顺之态。宣宗年轻时颇爱玩乐，胡后作为皇后，经常劝谏皇帝。《明史》记载：“车驾颇事游幸,亦间微行, 后 (胡善祥)往往规讽。” 皇后劝谏皇帝严守礼法的行为，引起了宣宗的反感，导致“上稍厌后”。宣宗只宠爱孙贵妃。宣德三年（1428年）春，孙贵妃生下宣宗长子明英宗（一说收养了宣宗与宫女所生之子）。于是给了宣宗和孙贵妃借口。宣宗即以胡皇后“无子多病”为由，命令胡皇后上表辞位，于是胡皇后退居长安宫修道，称为静慈仙师，实质上等同于废后。朝中大臣张辅、蹇义、夏原吉、杨