番社街」人们都在街上，做前往南鲲鯓的准备，结果众土匪反被近乎歼灭，「阿万伯仔」也在混战中丧命。之后居民收尸掩埋，为求亡魂安宁不要扰乱，而在街尾池塘边立万善祠祭祀，并以其首领为主神，并以事发的九月十二日为例祭日。日后因为神蹟显赫，除番社之外，店仔口（白河区）也有不少信徒。从例祭日前的一个月起，便有信徒的贺戏与谢戏接连上演，据说最多曾有26台布袋戏同时上演。二次大战后，于民国66年（1977年）东山市场改建时，以陈明智为首的地方人士组成管理委员会发起重建。而在民国68年（1979年）起，庙方至少两年举行