Staten overtok eiendommen i 1837, og den ble mye brukt som idrettsplass for barn og ungdom. I årene 1877 til 1881 ble bygningene til Norges geografiske oppmåling og Skulpturmuseet oppført på hver sin side av plassen. Bygningen til Norges geografiske oppmåling ble senere tatt i bruk som Statens kunstakademi, og står tom per 2024 etter at kunstakademiet fra 2010 ble samlokalisert på øvre Grünerløkka med Kunsthøgskolen i Oslo, som institusjonen da var blitt en del av. Bygningen som huset Skulpturmuseet ble etter hvert kjent som Nasjonalgalleriet, som senere ble fusjonert inn i Nasjonalmuseet; også den bygningen står tom per 2024 etter at all kunst har blitt flyttet til et nybygg mellom Nobels Fredssenter (den tidligere Vestbanestasjonen) og Aker Brygge.