体因台风来袭而墙壁倒塌，由于当时樟脑产业发展兴盛，因此由各脑馆，例如沈鸿杰、林天龙、林荫动、高拱辰等人募款重新整修。1894年（光绪二十年）整修完成，庙中有一面于光绪廿十年重修时所立的「荷德如山」匾额，即是记载此事。1895年 6月时，庙体被日本宪兵征收作为宪兵屯所，于当年6月29日遭到民军围攻，日军被杀十多人，而庙体也几乎毁于此次战役。1917年（大正六年） 因为日本时代初期集集街上日渐萧条，庙体经久失修，再由何怀、杜成罗等人募款重建。1935年（昭和十年），汤奇木募款重新扩建，并改名为「