I 1956 blei Nelson med i doo-wop-gruppa The Five Crowns. Seinere samme år førte en uenighet i The Drifters til at manageren deres gav heile gruppa sparken – og erstatta den med fire av medlemmene av The Five Crowns.