I oppveksten i Corscombe i Dorset startet Harvey et selvtitulert band sammen med trommeslageren Rob Ellis og bassisten Ian Olliver. Sistnevnte ble raskt byttet ut med Steve Vaughan, og trioen ga ut sitt første album i 1992. Ellis og Vaughan forlot bandet etter utgivelsen av i 1993, og Harvey fortsatte som soloartist.