John Hay var tredje sønn til legen Charles Hay og hans hustru Helen født Leonard. Han ble født i Indiana og vokste opp i Warsaw i Illinois. Han studerte rettsvitenskaper ved Brown University i Providence i staten Rhode Island fra 1855 til 1858. Han kompletterte sin juridiske utdannelse frem til 1861 mens han virket ved et juristkanselli i Springfield i Illinois.