Tidligere har Baker spilt med blant andre Minor Threat, Meatmen og Dag Nasty. I korte perioder var han også medlem i Government Issue og Samhain.