Doris Troy vokste opp i Harlem i New York, hvor hennes far var barbadisk pastor i menigheten. Foreldrene likte ikke at datteren sang annet enn salmer, så hun begynte å synge i sin fars kirkekor. Da hun senere jobbet ved Apollo Theater ble hun oppdaget av «Godfather of Soul», James Brown. Hun fortsatte nå som kordame for flere profesjonelle musikere; Solomon Burke, bandet The Drifters, Cissy Houston og Dionne Warwick. Som soloartist fikk Doris Troy sitt gjennombrudd med sangen «», som hun under pseudonymet Doris Payne skrev sammen med Gregory Carroll. Den nådde topp 10 i 1963. Året etter laget den britiske rockegruppen The Hollies en coverversjon av låta som var nær ved å bli deres første listetopper. Senere har blant annet Linda Ronstadt, Bryan Ferry, Anne Murray, Klaus Nomi og Harry Nilsson laget sine versjoner av sangen.