Gaup er født i Tromsø og vokste opp der, i Máze (Masi) i Kautokeino kommune og i Alta. Han er sønn av forfatteren Laila Stien. Som tiåring solgte han fisk og malte hus for å få råd til en 80ccm motocrossykkel. Som 16-åring flyttet han til Oslo for å gå på motocrosslinjen ved Norges Toppidrettsgymnas i Bærum.