I februar 1820 giftet han seg med Katrín Antoníusdóttir og slo seg ned på gården Borgargarður, utenfor de danske myndighetenes rekkevidde. Paret fikk sammen tre barn, hvorav to nådde voksen alder. I alt har de to barna ca. 500 etterkommere på Island.