苗栗文昌祠由当地仕绅例贡生林际春等人倡建，聘请地理师王东海选定现址，依照「戍山辰向」方位而建，清光绪八年（1882年）动工，光绪十一年（1885年）落成。光绪十五年（1889年）苗栗县设立，由于县衙未建，首任知县林桂芬便暂用文昌祠办公。同年冬天仕绅谢维岳等人倡议在文昌祠仓颉厅创办英才书院以培养人才，运作六年后，于台湾日治时期废止。日治初期，文昌祠曾被用做宪兵屯驻所、公学校分教场、支厅宿舍，栗社于昭和二年（1927年）成立后，亦在文昌祠活动。昭和十年（1935年）4月21日文昌祠因关刀山大地震毁损，重