Zwilgmeyer var sønn av byfogd og stortingsmannen Peter Gustav Zwilgmeyer (1813-1887) og Margrethe Gjørvald Daae (1825-1887), og Ludvig Daae (1829–1893) var hans onkel. Han var bror til barnebokforfatter Dikken Zwilgmeyer.