Starten på karrieren hans innen musikken var i det kortvarige bandet Stalkers. Sammen med gruppens gitarist Mick Box dannet han gruppen Spice, starten på Uriah Heep. eksisterte fra 1967 til 1969, da det gikk over til å bli . Byron var med fra 1969 til 1976 da han ble erstattet med John Lawton.