The Drifters, som var organisert som et firma eid av manager George Treadwell, hadde en god del utskiftinger i mannskapet. McPhatter forsvant ut og starta en solokarriere, noe som gav bedre plass for blant annet Pinkney. Denne var imidlertid også noe fra og til, og i 1956 blei han oppsagt da han (på vegne av heile gruppa) presenterte et krav om høyere lønn. Han fikk seinere jobben tilbake, men i 1958 gav Treadwell alle medlemmene av The Drifters sparken, hvorpå han bygde opp gruppa med ny besetning (med blant andre Ben E. King).