I området hadde det helt siden 1153 vært en have som keiserhoffet gjerne trakk seg tilbake til i de fuktige og hete sommermåneder. Denne haven, kalt , ble ombygd og utvidet av Qianlong-keiseren fra 1751. Frem til 1764 hadde han benyttet en samlet sum på 4,8 millioner taeler sølv. Sommerpalasset ble hans gave til sin mors sekstiårsdag.