V roce 1720 byla budova poškozena a za dalších zhruba devadesát let později shořela, zbytky po požáru byly vzhledem k tomu, že v této době měla čínská vláda dynastie Čching odpor k západu, zničeny. Místo bylo pak nevyužíváno až do roku 1860, kdy Peking dobyly britské a francouzské jednotky v rámci Druhé opiové války. Pak byly do Pekingu opět vpuštěni misionáři a kostel byl znovu vystaven. Během Boxerského povstání byl kolem roku 1900 opět zcela vypálen.