人非法侵佔、变卖，导致磺溪书院只剩数千坪土地。书院甚至在1945年之前，美国盟机曾经空袭过台湾，书院的三川殿跟厢房都曾被炸弹波及。在战后，许多书院的资产不是被外移就是被侵占，收入来源也完全中断，戒严时期政府与民间也无人愿意妥善管理。另外在1959年发生八七水灾，大肚溪的溪水氾滥，夹杂大量泥沙重创磺溪书院。而当时负责管理的赵维孝等人也远走他乡，任由书院的建材与文物资产被偷，加速了书院的荒废。1984年（民国73年）时任大肚乡乡长林振祥、陈荣怀以及大肚国小的校长雒继光等人，感到磺溪书院传承着重要文化的资产，