I tiårene omkring 1800 ble store deler av eiendommen utparsellert til private landsteder. Men i 1837 kjøpte kong Karl III Johan resten av gården fra Staten. Sønnesønnen Karl IV solgte den tilbake til Staten i 1863, og den ble da stilt til disposisjon for kongehuset. Oscar I oppførte i 1847–1852 lystslottet Oscarshall på Kongsgården, ut mot Frognerkilen. Hans sønn Oscar II videreutviklet gården som folkepark for byen og oppførte ved stranden sørvest på Bygdøy som sommerhus for de kongelige og deres gjester. I alt ble seks villaer oppført i dette området. Kun «Villa Sofie» fra 1878 er bevart. I 1881 anla han verdens første friluftsmuseum på eiendommen, Oscar IIs Samling. De fem bygningene, med Gol stavkirke som midtpunkt, ble i 1907 overtatt av Norsk Folkemuseum.