Priestly er kjent for å ha vært medlem av Hellhammer (1983) og det sveitsiske avant-garde metal-bandet Celtic Frost, først i 1984 hvor han deltok på debutalbumet , så fra 1988 til 1993 hvor han deltok på musikkalbumene , (EP) og . Han har også vært innom bandet Lady Godiva (1987–1988) og det franske bandet Treponem Pal, og deltok på albumet (1991).