Kebun-kebun mengalami banyak kerosakan pada abad ke-19. Semasa Perang Opium Pertama, tentera British menggunakan Teater Huxinting sebagai pangkalan operasi selama beberapa hari pada tahun 1842. Semasa Pemberontakan Taiping, Persatuan Pedang Kecil menjalankan ibu pejabatnya di Dewan Dianchun; pada masa tentera Qing memulihkan taman, struktur asal telah hampir semua dimusnahkan. Mereka telah rosak lagi oleh orang Jepun pada tahun 1942 sebelum dibaiki oleh Liangshun Han (Rockery Han ) yang dilantik oleh kerajaan Shanghai dari 1956 hingga 1961. Mereka dibuka kepada orang ramai pada tahun 1961 dan mengisytiharkan sebuah monumen kebangsaan pada tahun 1982.