Gray vokste opp i Wales, og har gått på Universitetet i Liverpool. Mens han var på skolen var han medlem i noen få punk-band. Senere begynte han å utforske sine egne evner som låtskriver, og fikk etter hvert bekreftet at han var poetisk anlagt. Han flyttet til London, og fikk kontrakt med Hut Records i Storbritannia og Caroline Records i USA. I 1992 ga han ut han sin første singel, og året etter kom hans første album. Hans musikalske karriere fikk en tidlig støtte fra en dedikert irsk fanklubb. Etter å ha utgitt noen album som ikke var vellykkede, fikk Gray sitt gjennombrudd med en verdensomspennende lansering i 1999 av albumet . Dette albumet ble godt mottatt både av kritikere og platekjøperne, og inneholdt hans mest kjente sanger: «This Year's Love» og «Babylon».