Gray ble født på en gård i Barnesville i Ohio i USA. Han gikk to år på Oberlin College hvor han arbeidet mye med elektrisitet. I 1867 fikk han patent på et forbedret telegraf-relé, og tok etter hvert over 70 patenter på andre oppfinnelser.