Som datter av en steinarbeider og en kunstner, vokste Harvey opp på et sauebruk i Corscombe i England. Tidlig i oppveksten introduserte foreldrene henne for blues, jazz og kunstrock. Senere hørte hun mye på Soft Cell, Duran Duran og Spandau Ballet. I tenårene ble hun tilhenger av indie-bandene Pixies, Television og Slint. I senere tid hevder hun at hun har hentet inspirasjon fra russisk folkemusikk, den italienske filmmusikkomponisten Ennio Morricone og klassiske komponister som Arvo Pärt, Samuel Barber og Henryk Górecki. Ifølge ble hun også påvirket av Leonard Cohen.