Jones var først gospelsanger. I 1954 var han med og danna The Santa Monica Soul Seeekers, som tok navnet The Cadets når de etter hvert begynte med ikke-religiøse sanger. De fikk i 1956 en hit med «Stranded In The Jungle». I 1958 gikk Jones – sammen med Cornelius Gunter – inn i The Coasters som erstatning for Leon Hughes og Bobby Nunn. Herfra er han mest kjent for basstemmen på «Yakety Yak» og «Charlie Brown».