后道光帝的琳贵人、成贵妃、彤贵妃、常妃等都曾在此居住