Historia til The Drifters starta da Ahmet Ertegün i Atlantic Records i mai 1953 gjorde avtale med Clyde McPhatter om å starte ei ny gruppe. Tanken var å blande gospeltradisjonen med tidas populærmusikk. I et første forsøk deltok fire medlemmer av , ei gospelgruppe McPhatter tidligere hadde vært med i: William «Chick» Anderson, David Baldwin, James «Wrinkle» Johnson og David «Little Dave» Baughan. Ei plateinnspilling i juni gjorde det klart for McPhatter og plateselskapet at dette fungerte dårlig.