姓宗亲兴建，但同年二月廿八日吴大廷离职，祠堂转由吴氏宗亲经理，但祠堂形同停工。到光绪三年（1877年）时，吴光亮自福宁总兵调任台湾总兵后，又号召吴姓族人集资动工，终完成正殿工程。原计画续建三川门，但因吴光亮遭到调职而中止。之后光绪年间，宗祠渐趋荒废。日治初期，一度因宗祠为吴光亮等所建而视为官产予以没收，后又发还给吴姓宗亲管理，并在大正十二年（1923年）时予以重修。台湾战后时期，民国五十三年（1964年）时重修，却因工人施工不慎引起火灾而暂停，于五十五年（1966年）的十一月进行重建，隔年五月完工。