台湾总兵后，又号召吴姓族人集资动工，终完成正殿工程。原计画续建三川门，但因吴光亮遭到调职而中止。之后光绪年间，宗祠渐趋荒废。日治初期，一度因宗祠为吴光亮等所建而视为官产予以没收，后又发还给吴姓宗亲管理，并在大正十二年（1923年）时予以重修。台湾战后时期，民国五十三年（1964年）时重修，却因工人施工不慎引起火灾而暂停，于五十五年（1966年）的十一月进行重建，隔年五月完工。之后于八十五年（1996年）7月16日列为三级古蹟（县市定古蹟），而于八十七年（1998年）、九十二年（2003年）时再次整修