创办英才书院以培养人才，运作六年后，于台湾日治时期废止。日治初期，文昌祠曾被用做宪兵屯驻所、公学校分教场、支厅宿舍，栗社于昭和二年（1927年）成立后，亦在文昌祠活动。昭和十年（1935年）4月21日文昌祠因关刀山大地震毁损，重建时因为经费不足，两侧厢房只重建了右厢房。二次大战期间，前埕建有三座防空壕，左厢房原址改为市场用地。二次大战结束后，右厢房租给商家使用，文昌祠变为两进两廊式的建筑格局。民国五十八年（1969年）时文昌祠曾进行大规模整修，民国七十二年（1983年）因大木结构油漆剥落而重新油漆。