Fylkesskolen ble nedlagt i 1952. I 1955 ble det innført framhaldsskole for alle skolekretsene i Bremsnes kommune på Varde, og 2-årig realskole kom i gang fra 1964. I 1966 ble det vedtatt å innføre 9-årig grunnskole i Averøy. Etter mye diskusjon om hvor den nye ungdomsskolen skulle bygges, kunne den nybygde ungdomsskolen på Bruhagen tas i bruk i 1973. Da var det ikke lenger behov for Varde som skolebygning. Fra midt på 1970-tallet ble Varde benyttet som en ekstra administrasjonsbygning for Averøy kommune i mange år, frem til ca år 2009.