Skoghøy vokste opp på Ringvassøya, nord for Tromsø. Han ble født inn i en familie som «tilhørte en liberal læstadiansk menighet som soknet til bedehuset ved Skogsfjordvannet.» Han tok examen artium i Tromsø i 1974. Skoghøy har fem barn.