后来，因参拜信众众多，当地缙绅于是于嘉庆元年（1796年）在镇奎楼东侧（后为中正路与忠义路交叉路口处）以坐北朝南座向建筑新庙，并雕塑五显大帝软身金身、镇殿五显大帝金身（泥塑神像）以及火将军、风将军等神尊。新庙建成后，新雕神尊合于一殿奉祀，庙名由观音堂改为五帝庙。同治十二年（1873年），当地人士因该庙年久斑驳发起重建，并依原址扩大兴筑。1900年，该庙祭祀团体小公聚合堂、大公百寿堂、轿班重敬堂、轿班双合堂等陆续组成于当地；小公聚合堂负责农历五月初五五显大帝飞昇纪念日祭典，大公百寿堂负责农历九月廿