酌中志》载，客氏“天启元年后，改住咸安宫，各衙门答应钱粮比御前更吃紧，夏则大凉棚贮水无算也，冬则大地炕贮炭无量也，其骄奢僭越真日异而月不同。”清初沿用明朝旧制，仍称「咸安宫」。康熙二十一年（1682年）加以改建。康熙年间太子胤礽之宫人曾在撷芳殿居住。胤礽被立为太子时仅两岁，六岁时康熙帝特为其建造毓庆宫，供其居住和学习。胤礽成婚之后仍住毓庆宫，但同时将撷芳殿用作胤礽的女眷及宫女们的居住之所，故胤礽常来往于毓庆宫和撷芳殿之间。康熙四十七年（1708年）九月，康熙帝在木兰行围出巡时，胤禔向康熙帝告状太子胤礽结