Nelson sang als Kind im Kirchenchor; 1937 zog seine Familie nach Los Angeles. Mit 17 Jahren leistete er den Militärdienst in der U.S. Army in der Panamakanalzone ab. Nach seiner Entlassung aus der Armee sang er im Raum Los Angeles in verschiedenen Doo-Wop und R&amp;B-Gruppen, wobei er mit dem Sänger Bobby Byrd in dessen Formationen "Bobby „Baby Face“ Byrd &amp; the Birds" und "Bobby Day &amp; the Satellites" zusammenarbeitete. 1957 hatten Byrd und Nelson erste Hiterfolge mit der Vokalgruppe The Hollywood Flames ("Buzz, Buzz, Buzz"); es folgten Titel wie 1955 "Two Things I Love" als "The Voices", "I Bow on You" mit den Pelican Singers 1957 und "Come On/No Time To Cry" auf Ebb Records (1959).