秋霞圃的龚氏园被改属为邑庙的后园，金氏园此后也被并入。干隆年间，沈氏园也被并为后园。此后的几十年，邑庙后园长盛不衰。咸丰十年至同治元年间（1860年至1862年），太平军攻占了嘉定，此后清军和洋枪队屡次同太平军在嘉定交战，园林遭到了非常严重的破坏。光绪帝登基后，园林开始逐渐得到修复。光绪二年（1876年），池上草堂得以重建；光绪十二年时人们在池上草堂西侧、桃花潭东侧建造了丛桂轩；光绪二十年又建了延绿轩，园林开始逐渐恢复往日的繁华。
中华民国大陆时期.民国9年（1920年），邑人