McCoy begynte ved Howard University for å studere psykologi noe senere men avbrøt studiene etter to år og flyttet til Philadelphia hvor han opprettet sitt eget plateselskap, , og slapp sin første single, , i 1959. Denne singlen fattet oppmerksomheten til eieren av Scepter Records, Florence Greenberg, som hyret McCoy som ansatt låtskriver og artist- og repertoarleder. Mens han skrev for dem forfattet McCoy sin første hit, for den kvinnelige vokalgruppen the Shirelles i 1962. Han kom imidlertid ikke riktig på banen før han signerte kontrakt med produsentene Jerry Leiber og Mike Stoller som låtskriver for deres selskaper Tiger og Daisy. McCoy skulle fortsette å skrive en hel rekke med hits etter hvert som 60-årene skred fram. Han førte også kultklassikeren i pennen for Kendra Spotswood, sin kjæreste på den tiden.