Som musiker er han også kjent for sitt bidrag på Jan Garbareks album: (1990). Med Nils-Aslak Valkeapää ga han ut (1993). Gaup deltok som en av hovedartistene på Riddu Riđđu-festivalen i 2003 bl.a med gitaristen Hallgeir Pedersen. Siden 1993 har han vært med i trekkspilleren Gabriel Fliflets Fri Flyt, som i samarbeid med Knut Reiersrud turnerte landet med jazzjoik-forestillingen (bl.a. Moldejazz 2004). Han har i den senere tid laget forestillingen «Jasat» med Samiska teatern i Kiruna og Sørsamisk teater. Gaup mottok Nordlysprisen 2003, og deltok på Nordlysfestivalen 2004 med Solveig Kringlebotn. Sammen med Kristin Mellem utga han i 2004, som de ble nominert til Edvard-prisen 2005 i klassen tradisjonsmusikk for. Han har senere gitt ut plate med musikerne Svein Schultz, Kenneth Ekornes og Stein Austrud.