Gray ble født i Canterbury, og ble lært opp av sin far og eldre bror i farging av klær, men hans interesse var innenfor vitenskap og spesielt astronomi, og han lykkes med å utdanne seg selv innen disse emnene, først og fremst gjennom rike venner som lot ham benytte deres bibliotek og instrumenter. Han laget sine egne linser og konstruerte sitt eget teleskop, som han gjorde noen mindre oppdagelser med, ikke minst når det gjaldt solflekker, og skaffet seg et rykte for å gjøre nøyaktige observasjoner. Noen av hans rapporter ble publisert av Royal Society gjennom en venn, Henry Hunt. Seinere i livet arbeidet han på observatoriet i Cambridge, men på grunn av andre som hadde misskjøtt observatoriet ble Gray tvungen å flytte tilbake til Canterbury for å fortsette jobbe innen klefargingsbransjen. Han flyttet allikevel snart til London og var assistent til John Desaguilers, som var selger for Royal Society. Seinere i livet ble Gray rammet av fattigdom og fikk gjennom innsats av John Flamsteed og Hans Sloane en plass på London Charterhouse (et hus for fattige gentlemen som hadde tjent sitt land). Det var under denne perioden Gray gjorde sine oppdagelser innenfor elektrisitetsledning.