McCoy var født den 6. januar 1940 i Washington, D.C., og der vokste han også opp som barn nummer to til Norman S. McCoy, Sr. og Lillian Ray. Han sang i Metropolitan Baptist kirkekor som barn og skrev sine egne sanger i tillegg til å opptre på lokale amatørshow sammen med sin eldre bror, Norman Jr., som tolvåring. De to utgjorde sammen med to venner fra high school en doo-wop-gruppe som kalte seg The Starlighters. Gruppa ga ut singlen , en uvant nymotens danseplate i 1956, og de tiltrakk seg med den en del oppmerksomhet som førte dem sammen med trommeslageren Vi Furnsides på en turné. Ekteskap og andre ting førte etter hvert til at gruppen løstes opp på midten av femtitallet.