人林乌全等人感念潘贤文，茅格率先开拓罗东之功绩，在庙内立牌祭祀。在当地有「番仔庙」之称。
日治时期.1898年，日本政府借用庙身创立罗东分教场（今罗东国小），后来仕绅张能旺认为教育十分重要，便捐出自己在十六分的土地作校地。陈纯精担任罗东街长时与士绅范纯喜倡议改建此庙，募款3922元。兰阳溪以南习俗是大众爷庙翻修后，可透过比较高阶神明敕封、降鸾指示、地方首长册封，升格为城隍庙。当时正逢皇民化运动，被官方驳回改成城隍庙的申请，陈纯精与地方仕绅遂向郡守梅谷修三陈情，于是以改成佛寺之名