Nelson var med å skrive den første hiten den nye besetninga hadde, «There Goes My Baby» (1959). Han var også førstesanger på «Save the Last Dance for Me», «Dance With Me», «This Magic Moment», «I Count the Tears» og «Lonely Winds». I alt spilte han inn tolv sanger med The Drifters. I 1960 forlot han gruppa på grunn av økonomiske uoverensstemmelser med manageren George Treadwell.