I 1782 kom Lysholm tilbake til Trondhjem, og i 1788 giftet han seg med prestedatteren Cecilie Catharina Fabricius (1771–1843). De fikk barna Henrik Lysholm (1790–1860), som ble borgermester i Trondhjem (1848–1860), direktør i Norges bank og stortingsmann, og Johan Mølmann Lysholm (1800–1874).