大甲民众反对且发生冲突，最后日本小学分教场关闭。大正十三年（1924年）王进财任汉塾教师，于文昌祠内教授汉学，并教习武艺，随后也成为台湾文化协会讲演场所。昭和十年（1935年）12月5日，以「大甲舍营所」的名义与其他的「北白川宫能久亲王御遗迹」一起被台湾总督府指定为史蹟。1949年中华民国政府播迁来台，先后被装甲兵团、保警大队、退除役官兵等借住，庙宇遭到严重破坏，木樑蚀朽，护龙被违章搭盖。1984年大甲镇公所迁移住户。1985年11月27日，经中华民国内政部评定为三级古蹟。1992年4月进行第一期修复（