改为五帝庙。同治十二年（1873年），当地人士因该庙年久斑驳发起重建，并依原址扩大兴筑。1900年，该庙祭祀团体小公聚合堂、大公百寿堂、轿班重敬堂、轿班双合堂等陆续组成于当地；小公聚合堂负责农历五月初五五显大帝飞昇纪念日祭典，大公百寿堂负责农历九月廿八五显大帝圣诞祭典，轿班重敬堂及双合堂负责农历九月廿九会员祭拜。
迁建及改建.1922年9月，因市街改正及神社建设需求，该庙原址遭官方征收，董旺及多名信众发起重建募捐，随后进行重新卜地。后来，众人集资购得两座坐西向东住宅及其土地