Tidlig på 1900-tallet ble Ladegården ekspropriert av Norges hovedjernbaner. Store deler av hagen forsvant og bygningen ble delt opp i 3 leiligheter, samt en liten portnerbolig lengst nord i sidefløyen.