还因此伙同公医调查是否有下药或放毒。日本政府认为祭拜赑屃过于迷信，遂令石雕移到该庙房内，并禁止人民乞灵水灵丹，之后更找林、陈姓二参事作协调，以搬入农场内。1915年，台南南声社创立，依附此庙。1923年，庙方重建东西厢。1930年代台湾，许丙丁将嘉义城隍庙、赑屃像与此庙写入《小封神》的〈九龟精阵亡山仔顶〉。1933年，为开辟大排水沟，庙的四随亭被拆，改建做拜亭。二次大战时，此庙设立名为「西门幼稚园」、收容军伕家中幼儿的托儿所，战争结束即停办。
战后时期.1946年，为纪念台