Lymon vokste opp i en sangglad familie. Faren, en lastebilsjåfør, var med i gospelgruppa , mens Frankie og brødrene Lewis and Howie sang i . Tolv år gammel tok Lymon kontakt med ei lokal doo-wop-gruppe, , han blei kjent med gruppas førstesanger, Herman Santiago og blei etter hvert med i det som skifta navn til , seinere og endelig .