Han giftet seg med Valdis Clemetsen i 1929 . Han var bror av Ludvig Daae Zwilgmeyer, som også var salmedikter og prest, og nevø av barnebokforfatteren Dikken Zwilgmeyer.