此三年后，康熙帝为国家社稷着想，再度被废黜。干隆十一年（1746年），在撷芳殿的原址兴建了三所院落，当作皇子的居所。因位于宁寿宫以南，故又称“南三所”，也称“阿哥所”或者“所儿”，嘉庆朝以后则多用“撷芳殿”代称整组建筑。南三所建成以后，嘉庆帝曾在干隆四十年至干隆六十年（1775年至1795年）在中所居住，干隆六十年（1795年）获封太子之后移居毓庆宫。嘉庆年间，皇子幼年先住毓庆宫，成婚之后再移居南三所。此后道光帝、咸丰帝均曾在南三所居住。道光帝出生在南三所，后来从成婚到39岁即位之前，一直住在南三所