Храм су заузеле англо-француске снаге у Другом опијумском рату. За време Боксерског устанка 1900. године, Савез осам народа окупирао је комплекс и претворио га у привремено седиште команде, које је трајало једну годину. Ова окупација је значајно оскрнавила храм и резултирала значајном штетом на грађевинама у комплексу као и у вртовима. Пријављене су и крађе артефаката из храма. Са падом династије Ћинг, храм је остао без управе. Запостављање храма довело је до урушавања неколико дворана.