しかし、1856年（咸豊6年）に勃発したアロー戦争（第二次アヘン戦争）に際して、北京までフランス・イギリス連合軍が侵入、フランス軍が金目のものを全て略奪したのち、遠征軍司令官エルギン伯の命を受けたイギリス軍が「捕虜が虐待されたことに対する復讐」として徹底的に破壊し、円明園は廃墟となった。これに対して円明園を評価していたヴィクトル・ユーゴーら一部の文化人はこの破壊行為を批判した。ただし、長春園北側の西洋楼庭園の海晏堂前の噴水時計に設置されていた十二支像がこの時破壊・略奪されたという見解があるが、実際にはこのときは被害を免れ移設されたものである。1930年ごろに北京近郊でこの12の像の写真が撮影されており、その後首を切断され流出したものと考えられる（詳細は円明園十二生肖獣首銅像を参照）。この際、円明園から略奪された宝物は大英博物館など主にヨーロッパ各地の博物館に所蔵・展示されている。その後も、1900年の義和団の乱などの戦乱や1966年に始まった文化大革命により円明園はさらに荒廃し、そのまま放置された。