道光二十二年（1842年）、咸丰十年（1860年）、同治三年（1864年）与光绪十三年（1887年）时又陆续有整修过。日治时期的1899年4月9日，总督府在此设置「台南师范学校」。1918年，该校扩编改制成「台湾总督府国语学校设立台南分校」，并迁到赤崁楼。之后庙产遭到盗卖，韩文公祠与天后圣母祠沦为肥料仓库，后殿则变成线香制造及木工厂。进入民国之后，庙产因收归国有而缺乏管理，直到五十三年（1964年）申请宗教团体登记后，该庙才由台南市潮汕同乡会管理，十年后（1974年4月2日）才又成立了庙宇管理委员会