。书院曾盛极一时，成为昔时燕武三堡文人雅士会聚之所。日本政府纪录当时庙一轩及附属十八轩，登记信徒约有一百人，由信徒大会选举管理人，再由管理人推举评议员，管理人代表兴贤书院对外行使职务。太平洋战争时栋宇倾圯、丹青剥落，兴贤吟社老成凋谢。1953年，耕者有其田，庙方的七甲余学田被没收。1950年代整修时，换新楹换大柱改盖安全瓦。战后到1970年代之间，因书院没有合法管理人，未能落实管理，以致出现了难解的佔住户问题。书院大殿曾被住户围起隔板改成厨房餐厅，于右任的柱联也被钉子木板遮盖。约1980年代，寺庙兴