Den 30. desember 1729 inngikk Hellehuus ekteskap på Hafslund med offiseren Peter de Seue (1694-1772). De bosatte seg på gården Westby (Vestby) og fikk åtte barn sammen. 1753 ble et sorgens år da gården brant ned. Familien kom seg med nød og neppe ut, og måtte i de etterfølgende år bo i primitive midlertidige husvær og leve av almisser. Hellehuus' arv gikk med i brannen, og det ble derfor senere vanskelig å få ført sønnene frem. Militære karrierer ble redningen.