失宠，惟位下的宫女人数还是依妃位配给。由此可见，此时的祥妃虽然还保有位分，但已经失宠并连累了她的儿女。道光十五年除夕和道光十六年元旦的宫廷活动，祥妃和五公主都没有参加。而且道光十六年十一月的后妃缎匹宫分中，祥妃的排序甚至在佳嫔之后，宫内的一切待遇亦照贵人之例配给，空有个妃的名号 。由此可见，道光帝已极度厌恶祥妃，已有将钮祜禄氏降为贵人之心。道光十七年，钮祜禄氏已降为祥贵人，位序在常贵人之次。道光二十六年十一月三十日，祥贵人位下的宫女安庆、伶安、伶顺三人因怕祥贵人又责打她们，一时煳涂而从翊坤宫跑赶出来