Da den velstående bergenskjøpmannen Sander Janson (1595–1649) eide Milde fra 1639-1678 er det mulig at han fikk huset utvidet og hagen anlagt. Hovedhuset fikk trolig sin nåværende størrelse, 10 x 32 meter, i løpet av andre halvdel av 1600-tallet.