Генри де Грей был сыном Ричарда де Грея из Ротерфилд Грейса и потомком Аншетиля де Грея, участника нормандского завоевания Англии. Он унаследовал от отца ряд владений в Оксфордшире. От короля Ричарда Львиное Сердце Генри получил в лен поместье Таррок Грей в Эссексе. В 1199 году он женился на Изабелле Бардольф, дочери и наследнице Хью Бардольфа, и в результате приобрёл замок Коднор в Дербишире, который в дальнейшем перестроил и расширил.