Gray ble født i Belgravia i London i 1827, og levde mesteparten av livet sitt i London. I 1845 begynte han å studere ved St George's Hospital i London. Under studiene fikk Grey svært god kjennskap til menneskelig anatomi ved dissekering av menneskekropper.