Henry Grey var sønn av Thomas Grey, 2. marki av Dorset og av Margaret Wotton. Gjennom sin far var han barnebarns sønn av Elizabeth Woodville, dronning av Edvard IV av England, ved hennes første ekteskap med sir John Grey av Groby. Henry Grey ble 3. marki av Dorset i 1530 etter sin fars død. I 1533, med tillatelse fra kong Henrik VIII av England giftet han seg med lady Frances Brandon (1517–1559), datter av Henrik VIIIs søster Maria Tudor og Charles Brandon, 1. hertug av Suffolk. Paret fikk tre barn som overlevde spedbarnsalderen: Lady Jane Grey (1537–1554), lady Katherine Grey (1540–1568), og lady Mary Grey (1545–1578).