Med suksessen vokste Ruffins ego. Han forlangte spesialbehandling, reiste med egen spesialdesigna limousin, ville at gruppa skulle skifte navn til (etter mønster av The Supremes, der Diana Ross hadde fått sitt navn foran) og krevde større innsyn i gruppas regnskaper. Samtidig blei han avhengig av kokain og møtte tidvis ikke opp til øvinger og oppdrag. Alt dette førte til stridigheter med de andre i gruppa, særlig defacto-leder Otis Williams, og med plateselskapet. I 1968 fikk han så sparken og blei erstatta av Dennis Edwards.