Gaup tok sin utdanning ved Kunstakademiet i Trondheim, skulpturavdelingen. Gaup fikk tildelt flere kunstnerstipender og hadde en rekke utsmykkingsoppdrag. De senere år jobbet han også med scenografi, da primært for Beaivváš Sámi Teáhter.