Faren Jens Simensen Høye hadde vært lærer, klokker og ordfører før ham. Også broren Johan Jensen Høye var ordfører i bygda.