以南，故又称“南三所”，也称“阿哥所”或者“所儿”，嘉庆朝以后则多用“撷芳殿”代称整组建筑。南三所建成以后，嘉庆帝曾在干隆四十年至干隆六十年（1775年至1795年）在中所居住，干隆六十年（1795年）获封太子之后移居毓庆宫。嘉庆年间，皇子幼年先住毓庆宫，成婚之后再移居南三所。此后道光帝、咸丰帝均曾在南三所居住。道光帝出生在南三所，后来从成婚到39岁即位之前，一直住在南三所。道光帝的长子奕纬，于道光五年移居南三所，直到道光十一年去世。此后，南三所久无人居，直至道光二十八年皇四子奕詝（日后的咸丰帝）、皇六