Zwilgmeyer var sønn av Heinrich Carl Zwilgmeyer (født 1761) og Lovise Henriette Heiss (født 1774). Han ble gift 25. juni 1847 på Solnør i Skodje med Margrete Giørwel Daae (1825-1887), søster til Ludvig Daae (1829–1893). Margrete Giørwel Daae var søskenbarn av Suzannah Ibsen, Henrik Ibsens kone.