Năm 1842, trong cuộc Chiến tranh nha phiến lần thứ nhất, quân đội Đế quốc Anh sử dụng Hồ Tâm Đình làm căn cứ trong một vài ngày. Trong cuộc nổi loạn của Thái Bình Thiên Quốc, Hội Tiểu Đao sử dụng Điểm Xuân Đường làm căn cứ;đến khi nhà Thanh giành lại được Dự Viên, gần như toàn bộ các kiến trúc ban đầu đã bị phá hủy. Đến năm 1942, khu vườn một lần nữa bị tàn phá trong cuộc Chiến tranh Trung-Nhật.