Som ung var han en del av musikkmiljøet i Oslo-området, der blant andre Trond Granlund også var aktiv. Sveen spilte trommer i ulike bandkonstellasjoner, men primært i bandet Salt & Pepper, og bidro også som backingsanger. Etter at Salt & Pepper hadde hatt en pause, startet de opp på nytt og fikk med seg den da ukjent Marius Müller. Høsten 1982 ble Helge Sveen med som trommeslager i Müllers nye band Smaa Hender. Mot slutten av 1983 ble Sveen med i Granlunds nye band X-tra, men da som gitarist og vokalist. Han sluttet i X-tra i desember 1985.