Gulskogen var opprinnelig en bondegård ved navn Søndre Skogen, Det har vært antatt at gården har fått sitt nåværende navn etter at den ble gulmalt. Navnet ble imidlertid brukt også før hovedbygningen ble gulmalt, og det kan tenkes at navnet kommer av at en eier har hett Gul eller at skogen ble oppfattet som gyllen. Gulskogen har etter hvert blitt navnet på hele bydelen hvor gården ligger. Hannibal Sehested kjøpte eiendommen ca. 1650 av Hans Lange, som var lensherre i Eiker. Hovedbygningen ble sannsynligvis oppført i årene mellom 1794 og 1800 etter tegninger av Christian Staalberg, antakelig på grunnmuren til den tidligere bygningen. Det var Peter Nicolai Arbo (1768-1827) og Anne Cathrine Arbo født Collett (1768-1846) som var eiere da. Arbo var storkjøpmann og hadde sin bygård i "Storgaden neden kirken" på Strømsø ved den senere Mads Wiels plass.