Lumholtz var gift tre ganger, første gang med Anne Marie Reus (1736–1779), datter av sognekapellan Ludvig Jacobsen Reus og Sara Cathrine f. Greve. Året etter hennes død giftet han seg igjen med Kirstine Cudrio (1749–1787), datter av Peter og Karen Cudrio, eierne av Losby gods.