Gray ble født i Cornhill i London som sønn av en aksjemegler og modist. Han var hadde sju søsken, som alle døde som barn. Thomas vokste opp med mora, som forlot den voldelige Mr. Gray. Han fikk sin utdannelse ved Eton College, der en onkel av han underviste. Her innleda han et vennskap med Horace Walpole, sønn av statsminister Robert Walpole. Der ble han også venn med den senere dikter og godseier Richard Owen Cambridge og med Richard West, sønn av for Irland Richard West.