大量泥沙重创磺溪书院。而当时负责管理的赵维孝等人也远走他乡，任由书院的建材与文物资产被偷，加速了书院的荒废。1984年（民国73年）时任大肚乡乡长林振祥、陈荣怀以及大肚国小的校长雒继光等人，感到磺溪书院传承着重要文化的资产，于是与聘请着名的建筑学者汉宝德教授勘察研究，于1985年（民国74年）8月19日经台湾省政府正式指定磺溪书院文昌祠为国家三级古蹟，并动工执行修复工程。在修复工程之前，已经有大量的产物都遭窃；甚至在修复中，书院之中原本有两个古匾「雅歌孝友」与「经天纬地」，是在光绪年间由御前侍卫廖锦