El jardín fue construido originariamente para alojar a la nobleza durante el mandato del emperador Zhu Yuanzhang. Durante la dinastía Qing, sirvió como residencia de virreyes. En la época del Reino de los Cielos de Taiping fue la residencia de Hong Xiuquan. El propio Sun Yat-sen tuvo aquí un despacho.