Kona hans var Katrín ríka Erlendsdóttir (1612 – 12. mars 1693), dóttir Erlendar Ásmundssonar sýslumanns og lögréttumanns á Stórólfshvoli og Salvarar Stefánsdóttur konu hans. Hún var mikill kvenskörungur og bjó lengi á Stórólfshvoli eftir lát manns síns. Á meðal barna þeirra voru Gísli Vigfússon skólameistari á Hólum og síðar bóndi á Hofi á Höfðaströnd, Jón Vigfússon eldri, sýslumaður á Stórólfshvoli og Jón Vigfússon yngri, biskup á Hólum.