Cro-Mags ble startet av bassist Harley Flanagan. Etter å ha spilt et par konserter med Eric Casanova på vokal så rekrutterte Flanagan etterhvert kompisen sin John Joseph som ny vokalist. Sammen etablerte de et band med Parris Mitchell Mayhew på gitar, Mackie Jayson på trommer og etterhvert Doug Holland fra bandet Kraut på gitar. Dette er bandet sin mest klassiske besetning og den de fleste refererer til når en snakker om Cro-Mags. Det var denne besetningen som spilte inn debutalbumet The Age of Quarrel i 1986. Albumet står i dag som en av de aller viktigste amerikanske hardcore-utgivelsene noensinne. Bandet opplever stor oppmerksomhet p.g.a. The Age of Quarrel og reiser bl.a. på turnéer med band som Motörhead og Megadeth. Men det er også på dette tidspunktet at konfliktene og motsetningene som blir å prege resten av Cro-Mags sin historie for alvor bryter ut. Resultatet blir at Joseph slutter rett før innspillingen av oppfølgeralbumet, Jayson følger etter. Med ny trommeslager og Flanagan som vokalist ser albumet Best Wishes dagens lys en gang i 1989. Best Wishes er mer metal-orientert og bandet har bevegd seg noe bort fra hardcore punk røttene, albumet er desto mer Hare Krishna-orientert. Coveret er et populært bilde av Narasimha som bandet har fått bruke med ISKCON sitt samtykke. Tekstene er også i større grad sentrert rundt spiritualitet og vegetarianisme. Et par år senere så returnerer Joseph til bandet og spiller inn skivene Alpha Omega og Near Death Experience. I 2000 så kom Flanagan og Mayhew sammen og spilte inn albumet Revenge uten Joseph.