Han var i slekt med flere andre ordførere i bygda: faren Nils Haarseth, farbroren Jacob Eriksen Haarset og svogeren Ola Jonsen Høye.