Han var gift med Karen Lem, datter av magister Peder Lem og bispedatteren Abel Munthe. Han og Karen Lem var foreldre til Ludvig Holberg.