瑟碑先后于1910年至1937年被移往颐和园；安佑宫华表、石麒麟、西洋楼线法桥和翻尾石鱼、梅石碑、莳花碑、文源阁碑被分别移至燕京大学和北京图书馆旧馆；兰亭八柱碑、远瀛观石栏杆和“青莲朵”等珍贵太湖石于1915年移往中山公园；长春园大东门石狮子及基座移至正阳门和新华门。西洋楼遗址的汉白玉及砖瓦也多被军阀官僚运走，或被各家石作坊买去，就地改刻为其他石料。抗日战争日占时期，园内部分遗址在“奖励农业”的口号下被平山填湖，改为水田。
共和国建国初期的破坏.1950年代，周恩来曾指示：遗址要保