祠的炉主赵壁等三十多人，将庙后的的十多甲土地捐赠给学校，1909年大肚公学校就在磺溪书院后方建立了新校舍。1938年之后大肚公学校迁址到现址，书院捐赠的土地被他人非法侵佔、变卖，导致磺溪书院只剩数千坪土地。书院甚至在1945年之前，美国盟机曾经空袭过台湾，书院的三川殿跟厢房都曾被炸弹波及。在战后，许多书院的资产不是被外移就是被侵占，收入来源也完全中断，戒严时期政府与民间也无人愿意妥善管理。另外在1959年发生八七水灾，大肚溪的溪水氾滥，夹杂大量泥沙重创磺溪书院。而当时负责管理的赵维孝等人也远走他乡，任由