Han var eldre bror til Dagfinn Zwilgmeyer som også var prest og salmedikter, og som også en tid var biskop i NS-kirken under krigen. Barnebokforfatteren Dikken Zwilgmeyer var hans tante.