Under årsskifte i 1974–75 flyttet Drammen offentlig spesialskole til Frydenhaug. Nesten alle driftspaviljonger ble revet og erstattet av en ny skole og Frydenhaug gård ble restaurert og tatt i bruk som administrasjonsbygning.