Oslo ladegård som vi kjenner den i dag, er et resultat av Karen Tollers store ombygging i 1722. Da solgte hun sin residens inne i Christiania og flyttet hit ut til det landlige, gamle Oslo. Karen Tollers Ladegård er et typisk barokkhus, med høyt, valmet tak og et symmetrisk grunnplan. Barokkhagen tar opp husets midtakse, og ligger som et smykke mot Bjørvika og Christiania. Eiendommen tilhørte Toller-slekta i 150 år, og den siste eieren i denne familien var Karen Tollers barnebarn, Caspar Herman Storm. Han bodde i det vi i dag kjenner som Krigsskolen (Tollbugt.10), og hadde Ladegården som landsted. I 1772 gikk han konkurs, og Ladegården ble solgt på tvangsauksjon. Ladegårdens siste private eier var Hans Konow.