Da Hobbs blei innkalt i militæret, blei han etter hvert erstatta av Tommy Evans, som hadde vært med i Drifters første periode. Green slutta i 1962, og inn kom Eugene Pearson. Evans forlot gruppa igjen i 1963, og han blei da erstatta av Johnny Terry, som opprinnelig hadde sunget med James Brown i . Johnny Moore kom tilbake etter endt militærtjeneste og et mindre vellykka forsøk på solokarriere.