Die tempel is tydens die Tweede Opiumoorlog deur die Anglo-Franse Alliansie beset. In 1900, tydens die Bokserrebellie, het die Agtlandeverbond die kompleks beset en dit vir sowat ’n jaar in ’n tydelike bevelspos omskep. Die tempel is deur die besetting ontheilig en die kompleks en tuin is erg beskadig. Daar was ook berigte oor die diefstal van artefakte. Ná die val van die Qing-dinastie is die tempel sonder toesig gelaat en die daaropvolgende verval het daartoe gelei dat verskeie sale ineengestort het.