宠并连累了她的儿女。道光十五年除夕和道光十六年元旦的宫廷活动，祥妃和五公主都没有参加。而且道光十六年十一月的后妃缎匹宫分中，祥妃的排序甚至在佳嫔之后，宫内的一切待遇亦照贵人之例配给，空有个妃的名号 。由此可见，道光帝已极度厌恶祥妃，已有将钮祜禄氏降为贵人之心。道光十七年，钮祜禄氏已降为祥贵人，位序在常贵人之次。道光二十六年十一月三十日，祥贵人位下的宫女安庆、伶安、伶顺三人因怕祥贵人又责打她们，一时煳涂而从翊坤宫跑赶出来。因此，她们受重责三十板，并且即刻赶出宫去。道光三十年（1850年），清文宗登