Moore var førstesanger i Cleveland-gruppa , før han blei oppdaga av The Drifters. Han kom inn som ny førstesanger her i 1955, etter Clyde McPhatter. Med Moore hadde gruppa hits som «Adorable» og «Ruby Baby». Han forlot gruppa da han blei innkalt til militærtjeneste.