Da hans private villa ble utvidet med en vinterhave i 1881, var det snart flere skulpturer enn planter i den. Samme år ble samlingen åpnet for publikum. I de følgende årene ble museet utvidet flere ganger for å møte behovet for mer plass til den stadig voksende samlingen. I 1885 hadde «hus-museet» hans vokst til totalt 19 gallerier. De første 14 av disse hadde blitt utformet av Vilhelm Dahlerup mens Hack Kampmann hadde bygget de siste fire samt gjennomført en redesign av vinterhaven.