I 1624 brant Oslo for siste gang, og prinsesse Annes lillebror, Kong Christian IV, besluttet at byen skulle flyttes. Dermed tok Christiania form, og det gamle Oslos bymark ble omgjort til forsyningsområde - eller ladegård - for Akershus festning. Men Christen Mules gamle renessansegård sto stadig, og ble nå sommerresidens for den rike Toller-familien. På slutten av 1600-tallet arvet Karen Toller bygningen, og sammen med ektemannen Caspar Herman Hausmann kjøpte hun senere opp det gamle ladegårdsgodset – noe som etter hvert gjorde at navnet Oslo ladegård knyttes til huset.