Gray var født i Wallsall, men familien flyttet til London hvor han studerede medisin. Han hjalp faren med å skrive (1821). Gray ble ansatt ved British Museums zoologiske avdeling i 1824 for å hjelpe John George Children med å katalogisere reptilsamlingen. I 1840 overtok han Childrens post som zoologiinspektør.