Før han ble journalist var Skarvøy politisk aktiv i Fremskrittspartiets Ungdom, og i 2006 var han lokallagsleder i Follo FpU. Han meldte seg ut av partiet i 2007. Av utdannelse har han studert journalistikk ved Universitetet i Nordland, men avbrøt studiene før fullført grad da han fikk jobb i VG. Under studiene var han tillitsvalgt som leder av studentlaget i fagforeningen Norsk Journalistlag og jobbet som journalist i Nettavisen.