Olve startet musikkarierren i death metal-bandet Old Funeral i Bergen, hvor han var bassist og vokalist. Bandet ble raskt oppløst, og i 1991 opprettet han black metal-bandet Immortal sammen med Harald Nævdal, på restene av Amputation som begge hadde vært med å starte. Olve var gitarist og vokalist i Immortal, inntil han i 2015 forlot bandet grunnet uenigheter med de andre medlemmene. Han startet så opp et band under sitt eget artistnavn, Abbath. Bandet ga ut debutalbumet i januar 2016, og albumet ble nominert til Spellemannprisen 2016 i klassen metal.