宜、福惠、福沛，均在雍正登基前后夭折。后来随着年贵妃、懋嫔与皇后相继去世，而齐妃之子弘时因阿其那允禩获罪也牵连至弘时，于是雍正命弘时过继给雍正八弟允禩，评为行事不谨，并除去皇三子弘时的宗籍，造成齐妃也受牵连失宠。雍正六年（1728年）十一月十一日，雍正帝谕曰：「又有逆书谓朕为淫色。朕在藩邸即清心寡欲自幼性情不好色欲。即位以后宫人甚少。朕常自谓天下人不好色未有如朕者。远色二字，朕实可以自信，而诸王大臣近侍等亦共知之。今乃谤为好色，不知所好者何色？所宠者何人？在逆贼既造流言，岂无耳目，而乃信口讥评耶！」