就亚细亚火油公司火油库的建筑工程，引起村民不满，所以经时任华民政务司杜德与四山居民各方商议解决方案后于1946年清拆。杜德、华人庙宇委员会和茶果岭的村民发起向港九绅商名流如霍英东的募捐活动，最终筹得经费，获教育司署补助四万多元，且花费共十万元由香港建筑商伍华创办的生泰建筑公司承接学校的建设。1951年由副华民政务司钟境培督导成立四山建校筹备委员会。1952年重建楼高二层的义学，并将之命名为「四山公立学校」，由杜德主持校舍开幕仪式。同年4月，由邓日创立的岭东学校向新界汉民视学处提出学校合併要求，把岭东学校併入