Holter ble gift med Sofie Nyquist (1871–1946) fra Drammen, og fikk sønnen Arne (f. 1893). I 1895 etablerte Holter verkstedet sitt i Øvre Vollgate 2, men samme år flyttet også familien opp til Bekkelagshøgda.. Her ble døtrene Elen (f. 14. mai 1899) og Margit (f. 7. juli 1900) født. På eiendommen "Hygga" under gnr 157 bnr 41 Åslie i Østre Aker ble Holter en pioner blant nybyggerne i området. Ved folketellingen i 1900 blir det opplyst at de hadde ei tjenestejente, Laura Arneberg (f. 1883) fra Hoff i Solør, og at de som eneste tilleggsnæring holdt høns på eiendommen. I 1897 fikk han flyttet xylografiverkstedet til fjerde etasje i Kongsveien 1, i 1898 lå atelieret til fjerde etasje i Karl Johans gate 13, og dernest til Grønlandsleiret 10, hvor han ble værende til i 1910. Senere kom han til å arbeide hjemmefra.