1860年），静宜园被英法联军劫掠焚毁。光绪二十六年（1900年），静宜园又遭八国联军洗劫破坏。1913年秋，英敛之在静宜园创办“辅仁社”，招收天主教会青年就学，此为天主教辅仁大学的前身。1917年直隶省发生水灾，熊希龄在静宜园创建“香山慈幼院”。中华民国大陆时期，静宜园内除了香山慈幼院之外，其地多被各界名人占据，兴建了数目繁多的私人别墅。1949年3月25日，中共中央进驻香山，同年底迁离，移往北京城内。1956年，静宜园被开辟为香山公园，对游客开放。1979年，碧云寺重修，作为香山公园的一部分对外开放。