Grey giftet seg i 1794 med irske Mary Pansonby som han fikk 15 barn med. Han hadde fra tidligere også en datter med Georgina (også skrevet som Georgiana) grevinne av Devonshire, som var gift med en annen. Barnet ble oppfostret av Greys foreldre.