Pinkney sang i ungdommen gospel i et lokalt kirkekor. Etter endt militærtjeneste under andre verdenskrig, der han utmerka seg under landgangen i Normandie (Operasjon Overlord) og under beleiringa av Bastogne, fortsatte han i ulike gospelgrupper. Han flytta til Harlem i New York i 1949, spilte baseball og sang i gruppa Jerusalem Stars. Sommeren 1953 blei han kontakta av Clyde McPhatter, som hadde fått forespørsel fra Atlantic Records om å starte ei ny vokalgruppe. McPhatter kom etter hvert opp med navnet The Drifters.