Ludvig Daae Zwilgmeyer var sønn av sogneprest og stortingspolitiker Ludvig Daae Zwilgmeyer (1855-1910) og Annie Salvesen (1862-1936).