Han var sønn av kjøpmann og stortingsmann Johan Mølmann Lysholm og hustru Cecilie Catharina Fabricius. Familien tilhørte Trondhjems handelspatrisiat, det såkalte Søgadepatrisiatet, som overveiende var av sønderjysk herkomst. Lysholm-slekten hadde innvandret fra Flensborg på 1700-tallet. Moren var av en dansk-norsk presteslekt. Han giftet seg i 1819 med den københavnske kjøpmannsdatteren Louise Augusta Hundewadt, som han fikk barn med.