Sønnen Simen Jensen Høye etterfulgte faren på gården, i klokkerstillingen og som ordfører. Også sønnen Johan Jensen Høye var ordfører i bygda. Sønnen Jens var landhandler på Bergset. I alt hadde Jens og kona Goro fem barn.