Han var i slekt med flere andre ordførere i bygda: broren Jacob Eriksen Haarset, sønnen Erik Nilsen Haarset og svigersønnen Ola Jonsen Høye.