Midt på 1960-tallet, da realskoleundervisningen falt bort fordi ungdomsskolen ble innført, ble bygningen stående ubrukt. Arendal museum var blitt til Aust-Agder-Museet og hadde flyttet til Langsæ gård, og et lite friluftsmuseum var bygd opp med tilflyttede kulturhistoriske bygninger. Arendal kommune, som da var blitt eier av bygningen, tilbød museet å flytte huset til Langsæ, men økonomien satte en stopper for dette.