Gaup tok lærerprøven ved Tromsø offentlige lærerskole i 1965, samisk grunnfag ved Universitetet i Oslo i 1967 og Statens spesiallærerskole 1. avdeling i Oslo i 1970. På 1980-tallet studerte han samisk ved Universitetet i Tromsø.