Leuchfamilien utvidet gården og gjorde den til sentrum for Nordmarksgodset. Morten Leuch oppførte midtpartiet i hovedbygningen, og gården ble ytterligere utvidet av Peder Anker, som gav den sitt nåværende slottspreg, og hans svigersønn grev Herman Wedel-Jarlsberg. Peder Ankers bror Bernt Anker eide Frogner Hovedgård og begge gjennomførte lignende utvidelser av bygningene. Bygningen er bygget i tre, men med utvendig murpuss, noe som ble benyttet for å gi bygningen et mer eksklusivt preg.