Tempelet ble ødelagt av krig mot slutten av Tangdynastiet og gjenoppbygd i 977, under Songdynastiet. (Ifølge en annen versjon av historien, som er kjent fra lokalhistoriske fortellinger fra Song- og Yuan-tiden, ble tempelet først bygd av kongen av Wuyue tidlig under Song-tiden.) Senere under Song, i 1064, fikk anlegget det nye navnet , men det opprinnelige navnet ble gjeninnført under Mingdynastiet under Wanli-keiserens regjeringstid.