Parsons' tidlige karriere begynte i 1985 med Swans, da han bidro på deres -album. Han forlot Swans i 1987 ble med i gitaristen Tommy Victor's nystartede band Prong. Prong var Parsons' hovedprosjekt til gruppen ble oppløst i 1996. Han startet da på et langvarig vennskap med den britiske komponisten Justin Broadrick, og spilte på Godflesh' turné i 1996 og på albumet . Parsons har også spilt i Of Cabbages and Kings med sin bandkompis fra Swans, Algis Kizys, og var også med i Foetus' turnéband.