Det konsoliderte museets administrasjon befinner seg i herregården Søndre Brekke. Søndre Brekke ligger i den 36 mål store Brekkeparken. Søndre Brekke gårds hovedbygning ble oppført av Jochum Adtzlew omkring 1780, Statsråd Niels Aall fikk oppført sidefløyene på 1800-tallet. Empire-stil var datidens mote, og Aall oppførte de nye fløyene i denne stilen, og fikk bygget om hovedbygningen slik at den framsto som empire. Parken som omkranser gården fikk Aall anlagt omkring 1815, i engelsk stil. Fra 1855 til museet overtok i 1909 tilhørte Søndre Brekke skipsrederne Hans Hoell og Nils P. Høyer som begge var gift med nære slektninger av Henrik Ibsen; hele tre av Ibsens kusiner, og datteren av en fjerde kusine, bodde på gården i denne perioden.