Han ble født i Oslo og vokste opp i Portugal. Som 16-åring startet han Ulver som et black-metal band sammen med Carl-Michael Eide.. Rygg var også vokalist i bandene Borknagar (1995–1997) og Arcturus (1993–2003). I 1997 møtte han musiker og produsent Tore Ylwizaker og sammen skapte duoen en ny musikalsk retning for Ulver, inspirert av Coil og eksperimentell, elektronisk musikk. Deres første utgivelse, fra 1998, var et dobbel-utgivelse der de satte musikk til William Blakes epos fra 1790-1793. Forfatter og forlegger Jørn H. Sværen, som Rygg beviselig møtte for første gang under Morbid Angels første Oslo-konsert i 1991, ble formelt med i Ulver rundt årtusenskiftet.