游击一员移驻鹿港后，鹿港增加了不少来自金门的兵丁，遂有建馆并奉祀其神祇苏王爷之需要。嘉庆十年（1805年）许乐三遗命其子将住居薄卖改为浯江馆，但并非只有金门人士可在此休憩，〈重建浯江馆碑记〉便提到说「故凡官兵斯镇及弁丁舆夫、彼都人士，无不憩息其间」。道光十一年（1831年）时，鹿港游击温兆凤倡议重建，但未动工便陞任艋舺营参将，后来继任的刘光彩继续倡议，该工程由郑用钖担任总理，于道光十二年（1832年）二月动工，道光十四年（1834年）四月落成，耗资2600银元。此次重建工程有刘光彩的〈重建浯江馆碑记〉为