Frogner var en av de største og tidligst bosatte gårdene i Oslo-området, og dens historie kan strekke seg tilbake til eldre jernalder. I løpet av middelalderen ble den delt i flere bruk, etter hvert to, som fikk betegnelsene Nordre og Søndre Frogner. Gårdene ble i løpet av middelalderen kirkegods under Hovedøya kloster. I forbindelse med reformasjonen ble brukene inndratt under kronen i 1532. Som følge av krigene på midten av 1600-tallet ble Frogner-gårdene i 1659 pantsatt til den rike nederlandskfødte finansmannen Selius Marselis, generalpostmester i Norge. Ettersom kronen aldri innløste pantet, ble gårdene Nordre og Søndre Frogner etter Marselis' død i 1667 solgt til den velstående overhoffrettsassessor Niels Toller d.y., og hans etterkommere eide gårdene de følgende hundre årene. Frognergårdene ble dermed knyttet til hovedstadens fremste familiekretser. Etter Niels Tollers død ble Søndre Frogner overtatt av general Caspar Herman Hausmann, som gjennom sitt rike giftermål med Tollers datter Karen Toller ble en betydelig godseier og trelasthandler samt Christianias største skipsreder. Hausmann var kommanderende general i Norge under den store nordiske krig. Den andre svigersønnen, general Hans Ernst von Tritzschler, gift med Anne Cathrine Toller, arvet Nordre Frogner. Anne Cathrine ble etter Tritzschlers død gift med Johan Henrik Garmann. De to gårdene Nordre Frogner og Søndre Frogner ble gjennom arv og kjøp samlet til én eiendom av oberstløytnant Ulrik Frederik de Cicignon, Hausmanns dattersønn, i 1744.