Ballard vokste opp i Bessemer i Alabama, der han tidlig begynte å synge i kirkekor, men også se seg om etter muligheter for en karriere innen musikken. Han flyttet tilbake til Detroit som 15-åring, og i 1951 danna han ei doo-wop-gruppe, og gjennom denne blei han oppdaga av bandlederen Johnny Otis. Han fikk da en plass i gruppa , som allerede hadde platekontrakt. Gruppa skifta navn til , og i 1953 gav de ut «Get It», en rhythm-and-blues-sang som blei nekta spilt av flere radiostasjoner på grunn av seksuelle overtoner. Samme skjebne hadde også den neste utgivelsen, «Work With Me Annie», som likevel blei en stor slager og nådde førsteplass på R&B-listene i USA. Med låter som «Sexy Ways» og «Open Up the Back Door» fastslo de ryktet sitt som ei gruppe med uvanlig tydelige tekster.